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Adaptive Filter Theory, Fourth Edition 


在 这 本 经 典 之 作 中 ， 赫 金 (Haykin) 教授 系统 全 面 地 介绍 了 各 种 线性 自 适应 滤波 器 和 基于 多 层 感知 器 的 非 
线性 自 适应 滤波 器 的 基本 原理 与 方法 。 在 第 四 版 中 ， 作 者 对 这 一 获得 高 度 成 功 的 著作 进行 了 进一步 更 新 和 精 选 加 
工 ， 以 保持 与 自 适应 信号 处 理 领域 最 新 发 展 同步 ， 并 尽 可 能 用 统一 和 通俗 易 懂 的 方式 来 阐述 有 关 概 念 。 


EBRA | 

o 修订 后 的 版 本 强化 了 线性 自 适应 滤波 器 数学 原理 的 论述 ， 包 括 ， 
。 改进 了 有 关 统 计 LMS 理 论 和 统计 RLS 理 论 的 阐述 
。 增加 了 对 归 一 化 LMS 滤 波 器 的 论述 ， 并 引入 更 一 般 的 仿 射 投影 滤波 器 
。 引入 了 子 带 自 适应 滤波 器 
。 将 卡尔 曼 滤 波 器 移 到 RLS 滤 波 器 之 后 讲述 ， 以 增强 对 平方 根 自 适应 滤波 器 和 阶 递归 自 适 应 滤波 器 的 统一 论述 

© 以 极其 浅显 易 懂 的 方式 对 自 适应 滤波 器 进行 了 深入 的 讨论 i 

© 使 用 了 大 量 MATLAB (计算 机 ) 实验 ， 举 例 说 明 自 适应 注 波 器 的 实际 实现 及 其 复杂 性 ,其 代码 可 从 网 上 下 载 


(www.prenhall.com/haykin/) 





EZEN ) 
Simon Haykin EEES +, sb fF RAYAMMAKFRFLBA, MF AMcMasterk He F 5HR 
系 教 授 ， 通 信 研 究 实 验 室 主任 。 研 究 方 向 包括 非 线性 动力 学 、 神 经 网 络 和 自 适 应 滤波 器 及 其 应 用 。 已 
出 版 了 多 本 专著 ， 其 中 包括 Signals and Systems, 2e, Communication Systm, 4e ¥ , 
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内 容 简 介 


本 书 是 自 适应 信号 处 理 领域 的 一 本 经 典 教 材 。 全 书 共 17 章 ， 系统 全 面 、 深 入 浅 出 地 讲述 了 自 适 应 信号 处 
理 的 基本 理论 与 方法 , 充分 反映 了 近年 来 该 领域 的 新 理论 、 新 技术 和 新 应 用 。 内 容 包括 : 自 适 应 LMS 横 向 滤波 
器 、 自 适应 格 型 滤波 器 、 自 适应 递归 滤波 器 、 频 域 和 子 带 自 适应 滤波 器 、 言 自 适应 滤波 器 、 神 经 网 络 非 线性 自 
适应 滤波 器 等 ， 及 其 在 通信 与 信息 系统 中 的 应 用 。 

全 书 取 材 新 颖 、 内 容 丰 富 , 适合 于 通信 与 电子 信息 类 相关 专业 的 高 年 级 本 科 生 、 研 究 生 、 教 师 及 工程 技术 
人 员 阅 读 。 


Authorized translation from the English language edition, entitled ADAPTIVE FILTER THEORY, FOURTH EDITION, 
9780130901262 by Simon Haykin, published by Pearson Education, Inc, publishing as Prentice Hall, Copyright © 2002 
Pearson Education, Inc. 

All rights reserved. No part of this book may be reproduced or transmitted in any form or by any means, electronic or 
mechanical, including photocopying, recording or by any information storage retrieval system, without permission from 
Pearson Education, Inc. 

CHINESE SIMPLIFIED language edition published by PEARSON EDUCATION ASIA LTD., and PUBLISHING HOUSE 
OF ELECTRONICS INDUSTRY Copyright © 2010. 


本 书 中 文 简体 字 版 专 有 出 版 权 由 Pearson Education ( 培 生 教 育 出 版 集团 ) 授予 电子 工业 出 版 社 。 未 经 出 版 者 预 
先 书 面 许可 ， 不 得 以 任何 方式 复制 或 抄袭 本 书 的 任何 部 分 。 
本 书 贴 有 Pearson Education ( 培 生 教育 出 版 集团 ) 激光 防伪 标签 ， 无 标签 者 不 得 销售 。 
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2001 年 7 月 间 , 电子 工业 出 版 社 的 领导 同志 邀请 各 高 校 十 几 位 通信 领域 方面 的 老师 , 商量 引进 
国外 教材 问题 。 与 会 同志 对 出 版 社 提出 的 计划 十 分 赞同 , 大 家 认为 , 这 对 我 国 通信 事业 、 特 别 是 对 
高 等 院 校 通信 学 科 的 教学 工作 会 很 有 好 处 。 

教材 建设 是 高 校 教学 建设 的 主要 内 容 之 一 。 编写 、 出 版 一 本 好 的 教材 , 意味 着 开设 了 一 门 好 的 
课程 ， 甚 至 可 能 预示 着 一 个 田 新 学 科 的 诞生 。20 世纪 40 年 代 MIT 林肯 实验 室 出 版 的 一 套 28 A 
达 人 丛书， 对 近代 电子 学 科 、 特 别 是 对 雷达 技术 的 推动 作用 ， 就 是 一 个 很 好 的 例子 。 

我 国 领 导 部 门 对 教材 建设 一 直 非 常 重 祝 。20 世纪 80 年 代 ， 在 原 教 委 教材 编审 委员 会 的 领导 下 ， 
汇集 了 高 等 院 校 几 百 位 富有 教学 经 验 的 专家 , 编写 、 出 版 了 一 大 批 教材 ; 很 多 院 校 还 根据 学 校 的 特点 
和 需要 ， 陆 续 编 写 了 大 量 的 讲义 和 参考 书 。 这 些 教材 对 高 校 的 教学 工作 发 挥 了 极 好 的 作用 。 近 年 来 ， 
随 着 教学 改革 不 断 深 入 和 科学 技术 的 飞速 进步 , 有 的 教材 内 容 已 比较 陈旧 、 落 后 , 难以 适应 教学 的 要 
求 , 特别 是 在 电子 学 和 通信 技术 发 展 神速 、 可 以 讲 是 日 新 月 晃 的 今天 , 如 何 适 应 这 种 情况 , 更 是 一 个 
必须 认真 考虑 的 问题 ,解决 这 个 问题 ,除了 依靠 高 校 的 老师 和 专家 撰写 新 的 符合 要 求 的 教科 书 外 ， 引 
进 和 出 版 一 些 国外 优秀 电子 与 通信 和 教材， 尤其 是 有 选择 地 引进 一 批 英文 原版 教材 ， 是 会 有 好 处 的 。 
l 一 年 多 来 , 电子 工业 出 版 社 为 此 做 了 很 多 工作 。 他 们 成 立 了 一 个 “国外 电子 与 通信 教材 系列 ” 
MA, 选派 了 富有 经 验 的 业务 骨干 负责 有 关 工 作 , 收集 了 230 余 种 通信 教材 和 参考 书 的 详细 资料 ， 
调 来 了 100 余 种 原版 教材 样 书 ,依靠 由 20 余 位 专家 组 成 的 出 版 委员 会 ， 从 中 精 选 了 40 多 种 ， 内 容 
$B, 覆盖 了 电路 理论 与 应 用 、 信 和 号 与 系统 、 数 字 信 号 处 理 、 微 电子 、 通 信 系统 、 电 磁场 与 微波 等 
方面 ， 既 可 作为 通信 专业 本 科 生 和 研究 生 的 教学 用 书 ， 也 可 作为 有 关 专 业 人 员 的 参考 材料 。 此 外 ， 
这 批 教 材 , 有 的 翻译 为 中 文 , 还 有 部 分 教材 直接 影印 出 版 ,以 供 教 师 用 英语 直接 授课 。 希望 这 些 教 
材 的 引进 和 出 版 对 高 校 通 信教 学 和 教材 改革 能 起 一 定 作用 。 

在 这 里 , 我 还 要 感谢 参加 工作 的 各 位 教授 、 专 家 、 老师 与 参加 翻译 、 编 辑 和 出 版 的 同志 们 。 各 
位 专家 认真 负责 、 严 谨 细 致 、 不 秤 辛劳 、 不 怕 琐 碎 和 精益 求 精 的 态度 , 充分 体现 了 中 国教 育 工作 者 
和 出 版 工作 者 的 良好 美德 。 

随 着 我 国 经 济 建设 的 发 展 和 科学 技术 的 不 断 进 步 ， 对 高 校 教 学 工作 会 不 断 提出 新 的 要 求 和 希 
A, RE, 无 论 如 何 , 要 做 好 引进 国外 教材 的 工作 , 一 定 要 联系 我 国 的 实际 。 教材 和 学 术 专 著 不 同 ， 
既 要 注意 科学 性 、 学 术 性 , 也 要 重视 可 读 性 , 要 深入 浅 出 , 便于 读者 自学 ; 引进 的 教材 要 适应 高 校 
教学 改革 的 需要 ,针对 目前 一 些 教材 内 容 较 为 陈旧 的 问题 ,有 目的 地 引进 一 些 先进 的 和 正在 发 展 中 
的 交叉 学 科 的 参考 书 ; 要 与 国内 出 版 的 教材 相配 套 , 安排 好 出 版 英文 原版 教材 和 翻译 教材 的 比例 。 
我 们 努力 使 这 套 教材 能 尽量 满足 上 述 要 求 ， 希 望 它们 能 放 在 学 生 们 的 课 桌 上 ， 发 挥 一 定 的 作用 。 

最 后 , 预 祝 “ 国 外 电子 与 通信 教材 系列 ”项 目 取得 成 功 , 为 我 国电 子 与 通信 教学 和 通信 产业 的 
发 展 培土 施肥 。 也 奶 切 希望 读者 能 对 这 些 书籍 的 不 足 之 处 、 特别 是 翻 译 中 存在 的 问题 , 提出 意见 和 


建议 ， 以 便 再 版 时 更 正 。 
; 
AIt H 


中 国 工程 院 院士 、 清 华 大 学 教授 
“国外 电子 与 通信 教材 系列 ”出 版 委员 会 主任 


"3 。 


出 版 说 有 明 


进入 21 世 纪 以 来 ,我 国信 息 产 业 在 生产 和 科研 方面 都 大 大 加 快 了 发 展 速度 ,并 已 成 为 国民 经 
济 发 展 的 支柱 产业 之 一 。 但 是 , 与 世界 上 其 他 信息 产业 发 达 的 国家 相 比 , 我 国 在 技术 开发 、 教 育 培 
训 等 方面 都 还 存在 着 较 大 的 差距 。 特别 是 在 加 入 WTO 后 的 今天 , 我 国信 息 产 业 面临 着 国外 竞争 对 
手 的 严峻 挑战 。 

作为 我 国信 息 产业 的 专业 科技 出 版 社 ,我 们 始终 关注 着 全 球 电子 信息 技术 的 发 展 方向 ,始终 把 
引进 国外 优秀 电子 与 通信 信息 技术 教材 和 专业 书籍 放 在 我 们 工作 的 重要 位 置 上 。 在 2000 年 至 2001 
年 间 ， 我 社 先后 从 世界 著名 出 版 公司 引进 出 版 了 40 余 种 教材 ,形成 了 一 套 “ 国 外 计算 机 科学 教材 
系列 ”, 在 全 国 高 校 以 及 科研 部 门 中 受到 了 欢迎 和 好 评 , 得 到 了 计算 机 领域 的 广大 教师 与 科研 工作 
者 的 充分 肯定 。 

引进 和 出 版 一 些 国 外 优秀 电子 与 通信 教材 ,尤其 是 有 选择 地 引进 一 批 英文 原版 教材 ,将 有 助 于 
我 国信 息 产业 培养 具有 国际 竞争 能 力 的 技术 人 才 , 也 将 有 助 于 我 国 国内 在 电子 与 通信 教学 工作 中 掌 
握 和 跟踪 国际 发 展 水 平 。 根 据 国内 信息 产业 的 现状 、 教 育 部 《关于 “十 五 ”期间 普通 高 等 教育 教材 
建设 与 改革 的 意见 》 的 指示 精神 以 及 高 等 院 校 老师 们 反映 的 各 种 意见 , 我 们 决定 引进 “国外 电子 与 
通信 教材 系列 ", 并 随后 开展 了 大 量 准备 工作 。 此 次 引进 的 国外 电子 与 通信 教材 均 来 自 国际 著名 出 
版 商 , 其 中 影印 教材 约 占 一 半 。 教材 内 容 涉 及 的 学 科 方向 包括 电路 理论 与 应 用 、 信 号 与 系统 、 数 字 
信号 处 理 、 微 电子 、 通 信 系统 、 电 磁场 与 微波 等 ,其 中 既 有 本 科 专 业 课程 教材 , 也 有 研究 生 课程 教 
材 , 以 适应 不 同 院 系 、 不 同 专业 、 不 同 层次 的 师 生 对 教材 的 需求 , 广大 师 生 可 自由 选择 和 自由 组 合 
使 用 。 我 们 还 将 与 国外 出 版 商 一 起 ， 陆 续 推 出 一 些 教材 的 教学 支持 资料 ， 为 授课 教师 提供 帮助 。 

此 外 ,“ 国 外 电子 与 通信 教材 系列 ”的 引进 和 出 版 工作 得 到 了 教育 部 高 等 教育 司 的 大 力 支 持 和 
帮助 ， 其 中 的 部 分 引进 教材 已 通过 “教育 部 高 等 学 校 电子 信息 科学 与 工程 类 专业 教学 指导 委员 会 ” 
的 审核 , 并 得 到 教育 部 高 等 教育 司 的 批准 , 纳 人 了 “教育 部 高 等 教育 司 推荐 一 一 国外 优秀 信息 科学 
与 技术 系列 教学 用 书 ”。 

为 做 好 该 系列 教材 的 翻译 工作 ,我们 聘请 了 清华 大 学 、 北 京 大 学 、 北 京 邮电 大 学 、 东 南大 学 、 
西安 交通 大 学 、 天 津 大 学 、 西 安 电子 科技 大 学 、 电 子 科技 大 学 等 著名 高 校 的 教授 和 上 骨干 教师 参与 教 
材 的 翻译 和 审 校 工作 。 许 多 教授 在 国内 电子 与 通信 专业 领域 享有 较 高 的 声望 ,具有 丰富 的 教学 经 验 ， 
他 们 的 渊博 学 识 从 根本 上 保证 了 教材 的 翻译 质量 和 专业 学 术 方面 的 严格 与 准确 。 我 们 在 此 对 他 们 的 
辛勤 工作 与 贡献 表示 囊 心 的 感谢 。 此 外 , 对 于 编辑 的 选择 , 我 们 达到 了 专业 对 口 ; 对 于 从 英文 原 书 
中 发 现 的 错误 , 我 们 通过 与 作者 联络 、 从 网 上 下 载 勘误 表 等 方式 , 逐一 进行 了 修订 ; 同时 , 我 们 对 
审 校 、 排 版 、 印 制 质量 进行 了 严格 把 关 。 

今后 ,我 们 将 进一步 加 强 同 各 高 校 教师 的 密切 关系 ,努力 引进 更 多 的 国外 优秀 教材 和 教学 参考 
书 ,为 我 国电 子 与 通信 教材 达到 世界 先进 水 平 而 努力 。 由 于 我 们 对 国内 外 电子 与 通信 教育 的 发 展 仍 
存在 一 些 认 识 上 的 不 足 , 在 选 题 、 翻 译 、 出 版 等 方面 的 工作 中 还 有 许多 需要 改进 的 地 方 , BAK 
师 生 和 读者 提出 批评 及 建议 。 
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关于 《 自 适应 滤波 器 原理 》 一 书 


自 适 应 信号 处 理 是 信号 与 信息 处 理学 科 一 个 新 的 重要 学 科 分 支 。 
自 适应 滤波 理论 和 技术 是 统计 信号 处 理 的 重要 组 成 部 分 。 它 可 以 在 无 
需 先 验 知识 的 条 件 下 ,通过 自学 习 适 应 或 跟踪 外 部 环境 的 非 平稳 随机 
变化 ,并 最 终 逼近 维 纳 滤波 器 和 卡尔 曼 滤 波 器 的 最 优 滤波 性 能 。 因 此 ， 
自 适应 滤波 器 成 功 地 应 用 于 通信 、 控 制 .雷达 、 声 纳 、 地 震 和 生物 医学 工 
程 等 领域 。 本 书 系统 全 面 地 介绍 了 这 方面 的 基本 理论 和 应 用 技术 , 充 
分 反映 了 该 领域 的 最 新 成 果 , 取材 新 颖 ,内容 丰富 、 概 念 清楚 、 论 述 严 
并 ,是 自 适应 信号 处 理 领 域 一 部 紧 跟 时 代 的 佳作 。 本 书 在 章节 内 容 安 
排 方面 也 颇 有 特色 :在 对 自 适应 滤波 器 做 综述 性 预览 之 后 ,按照 数学 基 
础 ` 线 性 滤波 、 非 线性 滤波 三 大 部 分 和 横向 、 格 型 .脉动 阵列 三 种 结构 进行 深入 讨论 ,并 以 自 适 
应 均衡 器 和 自 适应 波束 形成 作为 典型 应 用 示例 , 比较 了 自 适应 滤波 器 的 不 同 算法 和 不 同 结构 
的 性 能 ,最 后 以 对 新 技术 进行 展望 的 “后 记 ” 作 为 结束 。 本 书 的 内 容 要 点 如 下 : 


© 随机 信号 处 理 的 数学 基础 :随机 过 程 与 模型 。 

© 自 适 应 滤波 器 基础 : 维 纳 最 优 滤波 和 线性 预测 理论 。 

© 最 小 均 方 (LMS) 自 适应 滤波 器: 包括 从 最 速 下 降 算法 到 LMS 算法 ,从 LMS 自 适应 滤波 器 
到 归 一 化 LMS 滤波 器 ,从 横向 结构 到 格 型 结构 ;还 包括 频 域 和 子 带 自 适应 滤波 器 。 

© 递归 最 小 二 乘 (RLS) 自 适应 滤波 器 :以 卡尔 曼 滤波 理论 为 主线 ,贯穿 从 最 小 二 乘法 到 RLS 
自 适 应 滤波 再 到 平方 根 最 小 二 乘 滤波 ,从 横向 结构 到 脉动 阵列 再 到 格 型 结构 等 内 容 。 

© 自 适应 无 限 脉冲 响应 滤波 器 :输出 误差 法 和 方程 误差 法 自 适应 滤波 器 以 及 结合 有 限 脉 
冲 响应 (FIR) 结 构 和 无 限 脉冲 响应 (IR) 结 构 期 望 特性 的 Laguerre 自 适应 滤波 器 。 

© 有 限 精 度 效应 。 

e 时 变 系统 跟踪 。 

e 基于 盲 反 卷 积 的 盲 自 适应 滤波 器 。 

o 基于 反 向 传播 算法 的 神经 网 络 非 线性 自 适 应 滤波 器 。 


本 书面 向 本 领域 的 高 年 级 本 科 生 和 研究 生 系统 讲解 自 适应 滤波 器 理论 ,也 为 相关 领域 的 
工程 技术 人 员 提 供 了 利用 该 理论 解决 实际 问题 的 有 效 方 法 。 因 此 ,本 书 很 适合 于 通信 与 电子 
信息 类 相关 专业 的 高 年 级 本 科 生 、 研 究 生 教师 及 工程 技术 人 员 阅 读 。 
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中 国 通信 学 会 通信 理论 与 信号 处 理 专业 委员 会 主任 委员 
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随 着 信号 处 理学 科 领 域 理论 与 技术 的 不 断 进 步 , 自 适应 信号 处 理 已 成 为 信和 号 与 信息 处 理 
学 科 一 个 新 的 重要 学 科 分 支 ,并 在 诸如 通信 、 雷 达 、 声 纳 、 工 业 控制 ,地震 勘 探 及 生物 医学 工程 
等 领域 获得 越 来 越 广 泛 的 应 用 ,与 之 相关 的 研究 文献 及 论著 也 不 断 间 志 。 由 国际 著名 学 者 西 
Be WS (Simon Haykin) 教 授 所 著 、 并 为 我 国 广大 读者 所 熟悉 的 《 自 适 应 滤波 器 原理 》 一 书 , 堪 称 
反映 自 适应 信号 处 理 当 今 水 平 的 一 部 佳作 。 

该 书 自 第 一 版 1986 年 问世 以 来 , 短 短 十 余年 时 间 ,已 出 四 版 。 从 第 一 版 仅仅 涉及 常规 自 
适应 滤波 ,到 第 二 版 引入 盲 自 适应 方法 ,再 到 第 三 版 引 人 神 经 网 络 自 适应 滤波 ,直到 第 四 版 的 
进一步 修订 ,始终 贯穿 着 一 条 基本 脉络 :体系 愈加 合理 ,日 至 完善 ;内 容 紧 跟 时 代 , 不 断 更 新 。 
正 因 为 这 样 , 该 书 备 受 读者 欢迎 ,影响 与 日 俱 增 ,赢得 很 高 的 声誉 。 相 信 该 书 第 四 版 及 其 中 译 
本 的 出 版 , 必 将 对 目前 我 国 高 校 相关 课程 体系 和 内 容 改革 起 到 一 定 的 借鉴 作用 。 

该 书 第 四 版 除 保持 原 书 构 思 新 颖 、 取 材 得 当 、 论 述 严 谨 、 条 理 清楚 等 特色 外 ,在 某 些 方面 又 
有 所 加 强 ,但 其 涉及 的 主要 内 容 和 该 书 的 适用 范围 没有 大 的 变化 。 根 据 译 者 近 10 来 使 用 该 书 
所 积累 的 经 验 , 再 结合 第 四 版 翻译 过 程 的 体会 来 看 ,新 版 本 至 少 有 以 下 几 个 特点 : 


© 完善 体系 结构 ,强化 数学 基础 。 

© 新 颖 性 系统 性 与 实用 性 的 紧密 结合 。 

9 突出 通信 信号 处 理应 用 。 

本 书 由 郑 宝玉 教授 主持 翻译 ,并 负责 全 书 统 稿 和 审 校 。 在 本 书 翻 译 过 程 中 ,得 到 多 方面 的 
支持 和 帮助 。 除 主持 者 外 ,为 本 书 提供 初稿 和 作出 贡献 的 还 有 : 张 继 东 、 倪 梁 方 . 张 玲 华 、 侯 晓 
锥 潘 磊 \ 王 进 、 沈 海 红 、 杨 力 波 等 研究 生 。 电 子 工业 出 版 社 的 各 级 领导 和 编辑 为 本 书 的 出 版 
付出 了 辛勤 的 劳动 , 借 此 机 会 ,表示 诚 肆 的 谢意 。 由 于 全 书 篇 幅 太 大 ,时 间 仓 促 ,加 之 译 者 水 平 
有 限 ,错误 和 不 妥 之 处 在 所 难免 , 奶 望 读者 批评 指正 。 


FF 


自 适 应 滤波 器 是 统计 信号 处 理 的 一 个 重要 组 成 部 分 。 凡 是 需要 处 理 未 知 统计 环境 下 运算 
结果 所 产生 的 信和 号 或 需要 处 理 非 平稳 信号 时 , 自 适应 滤波 器 可 提供 一 种 十 分 吸引 人 的 解决 方 
法 ,而且 其 性 能 通常 远 优 于 用 常规 方法 设计 的 固定 滤波 器 。 此 外 , 自 适应 滤波 器 还 能 提供 非 自 
适应 方法 所 不 可 能 提供 的 新 的 信号 处 理 能 力 。 因 此 , 自 适 应 滤波 器 成 功 地 应 用 于 诸如 通信 、 控 


Il 


， 制 .雷达 、 声 纳 、 地 震 和 生物 医学 工程 等 诸多 领域 。 


本 书目 的 


本 书 基本 目的 是 研究 各 种 线性 自 适 应 滤波 器 的 数学 原理 。 自 适应 功能 根据 输入 数据 调整 
滤波 器 中 自由 参数 (系数 ) 来 实现 ,从 而 使 得 自 适应 滤波 器 实际 上 是 非 线 性 的 。 我 们 说 自 适应 
滤波 器 是 线性 的 , 指 的 是 如 下 含义 :无 论 何 时 滤波 器 的 输入 -输出 映射 都 遵循 委 加 原理 ,并 且 在 
任 一 特定 时 刻 滤波 器 的 参数 都 是 固定 的 。 

对 线性 自 适 应 滤波 问题 ,并 不 存在 惟一 的 解 ; 但 存在 由 各 种 递归 算法 所 表示 的 一 套 工 具 ， 
每 一 工具 给 出 它 所 拥有 的 期 望 特性 。 本 书 提供 了 这 样 一 套 工具 ,并 且 对 作为 非 线 性 自 适 应 滤 
波 基础 的 人 工 神经 网 络 做 了 介绍 。 

关于 背景 部 分 ,假设 读者 已 学 过 概率 论 ,数字 信和 号 处 理 等 大 学 本 科 的 导论 性 课程 以 及 通信 
和 控制 系统 等 先 修 课程 。 


本 书 组 织 


本 书 绪论 部 分 从 一 般 性 地 讨论 自 适应 滤波 器 的 运算 及 其 不 同形 式 开 始 ,并 以 其 发 展 历史 
的 注释 作为 结束 。 其 目的 是 想 通 过 该 课题 的 丰富 历史 ,向 那些 对 该 领域 感 兴 趣 并 有 志 洪 心 钻 
研 的 读者 追溯 这 些 研究 动机 的 由 来 。 该 部 分 引入 的 概念 和 算法 将 在 本 书后 续 章 节 中 详细 
阐述 。 
本 书 主要 章节 共 17 章 ,具体 安排 如 下 : 
o 随机 过 程 与 模型 ”这 方面 的 内 容 在 第 1 章 中 介绍 ,着 重 讲解 平稳 随机 过 程 的 部 分 特征 
(如 二 阶 统 计 描 述 )。 它 是 本 书 其 余部 分 内 容 的 主要 基础 。 
o 维 纳 (Wiener) 滤 波 器 理论 及 其 在 线性 预测 中 的 应 用 维 纳 滤波 器 在 第 2 章 中 介绍 , 它 定 
义 了 平稳 环境 下 的 最 优 线性 滤波 器 , 因此 提供 了 学 习 研 究 自 适应 滤波 器 的 基础 。 第 3 
章 讲述 了 线性 预测 理论 ,着 重 讨论 了 前 向 预测 和 后 向 预测 及 其 变种 ,并 以 线性 预测 在 语 
音 编 码 中 的 应 用 作为 该 章 的 结束 。 
@ 最 小 均 方 (LMS ,least-mean-square) 族 自 适应 滤波 器 LMS 滤波 器 是 以 横向 ( 即 抽 头 延迟 
线 ) 结 构 为 基础 构建 的 。 其 最 基本 的 形式 设计 简单 ,性 能 也 高 度 有 效 。 这 两 个 特性 使 得 
LMS 滤波 器 在 各 种 应 用 中 非常 流行 。 第 4 章 介绍 了 一 种 古老 的 最 优化 技术 一 一 最 速 下 
.8 . 


降 法 的 基础 , 据 此 导出 LMS 滤波 器 。 第 5 章 详细 论述 了 LMS 滤波 器 理论 和 应 用 的 方 方 
面 面 ,其 要 点 如 下 : 

(i) 小 步 长 统计 理论 它 较 好 地 描述 了 步 长 参数 取 很 小 值 时 LMS 滤波 器 的 过 渡 特 

性 及 其 学 习 曲 线 。 这 个 新 理论 (来 源 于 非 平衡 热力 学 中 的 Langevin 方程 ) 避 免 

T IMS 滤波 器 研究 中 传统 上 采用 的 独立 性 理论 (independence theory) 所 做 的 不 

切实 际 的 假设 。 计 算 机 模拟 证 明了 小 步 长 理论 的 结果 与 实验 结果 之 间 的 紧密 


一 致 。 
Gi) H Rw., EHET LMS 滤波 器 的 确定 鲁 棒 性 (deterministic robustness) 的 数学 
基础 。 


第 6 章 和 第 7 章 扩 展 了 TMS 滤波 器 的 LMS 族 。 这 一 点 是 通过 详细 论述 归 一 化 LMS dE 
波 器 、 仿 射 投影 自 适 应 滤波 器 . 频 域 和 子 带 自 适应 滤波 器 来 实现 的 ;其 中 , 仿 射 投影 滤波 
器 是 介 于 归 一 化 LMS 滤波 器 与 递 归 最 小 二 乘 滤波 器 之 间 的 滤波 器 。 
递归 最 小 二 乘 (RLS,recursive least-squares) 自 适应 滤波 器 RLS 滤波 器 由 于 可 提供 快 收 
全 速率 而 且 对 输入 信号 相关 和 矩阵 特征 值 扩散 度 变化 不 敏感 ,从 而 突破 了 LMS 族 的 某 些 
实际 限制 ;其 代价 是 增加 了 计算 的 复杂 人性。 第 8 章 讨 论 了 最 小 二 乘法 , 它 可 看 做 源 于 随 
机 过 程 的 维 纳 滤波 器 的 确定 性 复 本 。 在 最 小 二 乘法 中 ,输入 数据 以 块 接 块 为 基础 进行 
处 理 。 目 前 ,其 数值 计算 复杂 性 过 去 不 被 重视 的 分 块 方法 正 日 益 引 起 人 们 的 关注 ,这 应 
该 归功 于 数字 计算 机 技术 的 不 断 进步 。 第 9 章 介绍 如 何 构 造 最 小 二 乘法 ,并 运用 和 矩阵 
求 逆 引 理 导出 RLS 滤波 器 。 该 章 的 要 点 是 : 

(i) RIS 滤波 器 的 统计 理论 。 

Gi) RLS 滤波 器 的 有” 理论。 
实际 上 ,RILS 自 适应 滤波 器 是 著名 的 突出 状态 概念 的 卡尔 曼 ( Kalman) 滤 波 器 的 一 个 特 
例 。 因 此 ,很 好 地 理解 卡尔 昌 滤 波 器 理论 (也 包括 将 平稳 环境 下 维 纳 滤波 器 作为 其 特 
例 ) 是 十 分 重要 的 。 第 10 章 讨 论 了 卡尔 曼 滤 波 器 的 推导 、 它 的 变形 和 推广 。 该 章 也 确 
立 了 卡尔 曼 滤波 器 与 RLS 滤波 器 之 间 的 一 一 对 应 关系 ,从 而 提供 了 整 族 RLS 滤波 器 统 
一 论述 的 框架 。 第 11 章 以 Givens 旋转 为 基础 ,推导 平方 根 RLS 滤波 器 的 平方 根 信息 和 
协 方差 形式 ,从 而 克服 了 原 RLS 滤波 器 数字 实现 中 所 遇 到 的 数值 困难 。 第 12 章 以 阶 递 
归 滤 波 器 为 基础 , 阅 述 了 自 适 应 滤波 器 设计 中 类 似 于 格 型 的 结构 。 这 种 滤波 器 具有 类 
似 于 LMS 滤波 器 的 计算 复杂 性 ,其 复杂 性 改进 通过 利用 瞬 态 处 理 所 固有 的 时 移 特性 获 
得 。 第 12 章 还 介绍 了 梯度 自 适应 格 型 (GAL, gradient adaptive lattice) 算 法 和 基于 QR 分 
解 的 最 小 二 乘 格 型 (QRD-LSL, QR-decomposition-based least-squares lattice) 算 法 的 推导 , 它 
们 分 别 是 计算 方面 最 简单 和 性 能 方面 最 强 有 力 的 算法 。 
有 限 精 度 效 应 ”贯穿 第 5 章 到 第 12 章 的 自 适应 滤波 器 理论 以 无 限 精 度 运 算 为 基础 。 
然而 , 当 用 数字 形式 实现 自 适应 滤波 器 时 ,将 产生 由 有 限 精度 运算 引起 的 有 限 精度 效 
应 。 第 13 章 讨论 了 LMS 和 RLS 滤波 器 数字 实现 时 的 有 限 精度 效应 。 
时 变 系 统 跟踪 第 14 章 通 过 计算 和 比较 运行 在 非 平稳 环境 [假设 为 马尔 可 夫 (Markov) 
模型 ] 下 的 LMS 和 RLS 滤波 器 的 性 能 ,扩展 了 这 两 种 滤波 器 理论 。 在 该 章 中 运用 广义 
卡尔 曼 滤 波 器 导出 修正 型 RLS 滤波 器 ,其 最 优 性 在 非 平稳 环境 下 超过 LMS 滤波 器 。 这 
一 章 在 导出 具有 自 适 应 记忆 (用 来 递归 调整 LMS 滤波 器 的 步 长 参数 和 .RILS 滤波 器 的 指 


Q. 


数 加 权 因 子 ) 的 新 型 LMS 和 RLS 滤波 器 后 结束 。 
@ 无 限 脉 冲 响应 自 适应 滤波 器 第 5 章 到 第 14 章 讨论 的 线性 自 适 应 滤波 器 都 是 由 有 限 
脉冲 响应 表征 的 横向 结构 或 格 型 结构 滤波 器 。 第 15 章 主 要 介绍 设计 无 限 脉冲 响应 
(IIR, Infinite-duration impulse response) 自 适 应 滤波 器 的 输出 误差 法 和 方程 误差 法 ,而 且 讨 
论 了 在 它们 的 应 用 中 可 能 发 生 的 实际 问题 。 该 章 还 叙述 了 结合 FIR 和 IIR 结构 期 望 特 
性 的 Laguerre 自 适应 滤波 器 。 
e HKR 第 5 章 至 第 15 章 人 研究 的 线性 自 适应 滤波 器 都 假设 可 得 到 期 望 响 应 ,该 响 
应 在 训练 时 用 来 引导 滤波 器 自由 参数 的 自 适 应 。 当 得 不 到 期 望 响应 时 ,必须 求助 于 
使 用 襄 自 适应 ( 即 无 监督 自 适应 滤波 ) 技 术 。 第 16 章 讨论 了 两 种 基本 的 育 反 卷 积 
算法 : 
© 基于 二 阶 统计 的 子 空间 分 解 算法 , 它 利用 了 通信 信道 上 包含 数据 传输 的 应 用 中 调制 ， 
信号 的 循环 平稳 特性 。 

© Bussgang 算法 , 它 利 用 了 通信 信道 输出 端 接收 信号 的 高 阶 统计 特性 。 

© Bussgang 分 数 间隔 均衡 器 的 讨论 作为 这 一 章 的 结束 ,在 该 均衡 器 中 盲 反 卷 积 的 两 个 主 
要 课题 被 结合 在 一 起 。 

o 反 向 传播 学 习 ”由 非 线性 处 理 单元 构建 的 神经 网 络 为 解决 各 种 非 线 性 自 适应 滤波 难题 
提供 了 强 有 力 的 工具 。 具 有 一 个 或 多 个 隐 和 人 处理 单 元 层 的 多 层 感知 器 组 成 一 类 重要 的 神 
经 网 络 。 第 17 章 导 出 了 多 层 感 知 器 监督 学 习 的 反 向 传播 算法 ,该 算法 可 看 做 LMS 算法 
的 一 种 推广 。 该 章 所 介绍 内 容 的 新 颖 性 在 于 突出 反 向 传播 算法 的 复数 形式 , 它 与 本 书 
的 余下 部 分 相 一 致 。 


本 书 以 后 记 作 为 结束 。 后 记 主 要 讨论 了 如 下 五 个 专题 : 


© 比例 式 自 适应 

© 鲁 棒 性 统计 

o 盲 信 源 分 离 

© 动态 驱动 的 递归 神经 网 络 

© 无 偏 状态 估计 和 非 线 性 动态 系统 


包括 这 些 内 容 是 为 了 把 自 适应 滤波 器 这 一 主题 的 一 个 更 加 完整 的 蓝图 提供 给 读者 。 
本 书 还 包括 如 下 附录 : 

e 复 变 也 数论 

o 对 向 量 微 分 

o fi #5 H (Lagrange) FETE 

9 估计 理论 

© 特征 分 析 

o 旋转 与 反射 

o 复数 维 萨 特 (Wishart) 分 布 


在 本 书 的 不 同 部 分 ,其 应 用 由 在 这 些 章节 中 介绍 的 基本 思想 组 成 。 


辅助 材料 


© 本 书 还 包括 一 个 术语 表 : 由 一 系列 定义 .记号 .规定 .缩写 和 书 中 涉及 的 主要 符号 组 成 。 
o 本 书 参 考 的 所 有 出 版 物 汇 编 在 “参考 文献 "中 。 每 篇 参考 文献 包括 作者 姓名 和 出 版 年 
份 。 为 完整 起 见 ,还 列 出 大 量 其 他 补充 参考 资料 。 


例题 、 习 题 与 计算 机 实验 


本 书 的 各 个 章节 包括 大 量 例题 ,用 来 说 明 新 讨论 的 概念 和 原理 。 

本 书 还 包括 许多 计算 机 实验 。 开 发 这 些 实验 的 目的 是 为 了 更 好 地 说 明 LMS 算法 和 RLS 
算法 的 基础 理论 与 应 用 。 这 些 实验 可 帮助 读者 比较 两 种 线性 自 适应 滤波 算法 族 的 性 能 。 

本 书 每 一 章 (除了 绪论 外 ) 以 习题 作为 结束 。 这 出 于 两 点 考虑 : 


e 帮助 读者 更 深 地 理解 该 章 所 包含 的 内 容 。 
o 鞭策 读者 拓展 该 章 中 讨论 的 原理 和 方法 。 


解 题 指 南 


本 书 还 附 有 对 第 1 章 至 第 17 章 所 有 习题 进行 详细 解答 的 解 题 指 南 。 采 用 本 书 作为 教材 
使 用 的 教师 ,可 直接 向 出 版 商 索 取 该 指南 的 副本 ( 见 本 书 末 的 “教学 支持 说 明 ” 页 一 一 编者 注 )。 
所 有 计算 机 实验 的 MATLAB 代码 ,可 在 网 站 http://www .prenhall.com/haykin/ 上 获得 。 


使 用 说 明 


本 书 是 按 自 适应 信号 处 理 研究 生 课程 的 水 平 编写 的 。 在 这 个 范围 内 ,本 书 材料 的 组 织 为 
读者 选择 适合 这 一 主题 的 感 兴趣 内 容 提 供 了 很 大 的 灵活 性 。 

我 们 希望 本 书 对 产业 界 的 研究 者 和 工程 师 以 及 工作 在 与 自 适应 滤波 器 理论 和 应 用 有 关 的 
政府 行政 机 关 的 人 员 也 是 有 用 的 。 
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背景 与 预览 


滤波 问题 


估计 器 或 滤波 器 通常 用 来 从 含有 噪声 的 数据 中 提取 人 们 感 兴趣 的 .接近 规定 质量 的 信息 。 
在 这 个 意义 下 ,估计 方法 及 其 理论 应 用 于 诸如 通信 、 雷 达 、 声 纳 、 导 航 、 地 震 学 、 生 物 医 学 工程 、 
金融 工程 等 众多 领域 。 作 为 估计 理论 或 滤波 器 理论 的 一 个 应 用 例子 ,考虑 由 发 射 机 、 信 道 和 接 
收 机 连接 组 成 的 数字 通信 系统 ,如 图 1 所 示 。 发 射 机 的 作用 是 把 数字 源 ( 例 如 计算 机 ) 产 生 的 
HO 符号 序列 组 成 的 消息 信号 变换 为 适合 于 信道 上 传送 的 波形 。 典 型 地 ,信道 主要 受到 下 
列 两 种 损伤 : 
o 符号 间 干 扰 ”理想 上 ,线性 传输 媒介 定义 为 
h(t) = A(t — 7) (1) 
式 中 上 表示 连续 时 间 A(t) EAN EKA, A 为 幅度 标 度 因子 ,6(i) 是 Dirac 6 函数 ( 即 
单位 脉冲 函数 ) ,zt 表示 信和 号 沿 信道 传送 过 程 中 所 产生 的 传播 时 延 。 式 (1) 是 某 一 理想 
传输 媒介 的 时 域 描述 。 等 效 地 ,我 们 可 以 在 频 域 表征 它 ,并 写 为 
H(jw) = 4exp (—jo7) (2) 
式 中 j 是 -1 的 平方 根 ,w RAR AR, HU w) REA EY BY HH MA , THT exp + ) 表 示 
指数 函数 。 实 际 上 ,对 任何 物理 信道 ,不 可 能 满足 由 式 (1) 给 出 的 理想 时 域 描述 [或 式 
(2) 等 效 频 域 描述 ] 所 包含 的 严格 要 求 。 我 们 尽 最 大 努力 所 能 做 到 的 ,也 只 是 在 表示 发 
送信 号 基本 谱 内 容 的 频带 上 逼近 式 (2) , 它 将 使 物理 信道 发 生 色 散 (dispersive)。 在 数字 
通信 勾 统 中 ,这 种 信道 损伤 将 引起 符号 间 干 扰 (intersymbol interference) ,由 此 造成 紧 接 着 
的 脉冲 (表示 1.0 发 送 序列 ) 相 互 间 模 糊 不 清 , 以 致 于 它们 不 再 可 区 分 。 
@ 骂 声 某 种 形式 的 噪声 出 现在 每 个 通信 信道 的 输出 端 。 该 噪声 可 以 是 系统 内 部 的 (由 
接收 机 前 端 放大 器 产生 的 热 噪 声 ) ,或 系统 外 部 的 (由 其 他 信 源 产生 的 干扰 信号 )。 
这 两 种 报 作 的 最 终结 果 是 ,信道 输出 端 收 到 的 信号 是 含有 噪声 的 或 失真 的 发 送信 号 。 接 
收 机 的 作用 是 ,操作 接收 信号 并 把 原 消息 信号 的 一 个 可 靠 估 值 传递 给 系统 输出 端的 某 个 用 户 。 


消息 信号 | 发 送信 号 接收 信号 
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图 1 通信 系统 框图 Ne 





作为 估计 理论 或 滤波 器 理论 应 用 的 另 一 个 例子 ,考虑 图 2 所 示 的 情况 。 图 让 表示 X 


续 时 间 动 态 系 统 ,其 ;时刻 的 状态 由 多 维 向 量 x(:) 表 示 。 描 述 状 态 x(1) 演 变 的 方程 通常 又 到 
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2 自 适 应 滤波 器 原理 


系统 误差 的 影响 。 滤 波 问 题 是 复杂 的 ,因为 x( 已 是 隐藏 的 而 且 能 够 观测 它 的 惟一 方法 是 通过 
间接 测量 ,其 测量 方程 是 状态 x() 自 身 的 函数 。 再 则 ,该 测量 方程 不 可 避免 地 受到 它 所 拥有 
的 噪声 的 影响 。 图 2 所 描述 的 动态 系统 可 以 是 飞行 中 的 飞机 ,在 这 种 情况 下 ,飞机 的 位 置 和 速 
度 组 成 状态 x(4) 的 元 素 ,而 测量 系统 可 以 是 跟踪 雷达 。 总 之 ,给 定 测量 系统 在 间隔 [0,7] 内 产 
生 的 可 测 向 量 y(#) 及 先 验 信息 ,我 们 的 要 求 是 估计 动态 系统 的 状态 x(1)。 

















系统 误差 测量 误差 先 验 信息 


图 2 ”描绘 状态 估计 中 所 涉及 成 分 的 框图 
上 述 两 个 例子 所 阅 明 的 估计 理论 实际 上 是 统计 的 ,因为 不 可 避免 地 存在 影响 所 研究 系统 
正常 运行 的 噪声 或 系统 误差 。 
三 种 基本 估计 


三 种 基本 的 信息 处 理 运算 是 滤波 .平滑 和 预测 ,每 一 种 运算 由 某 一 估计 器 来 完成 。 这 些 估 
计 方 法 之 间 的 差异 用 图 3 来 说 明 。 
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图 3 估计 基本 形式 示意 图 


© EK (filtering) 它 是 用 t 时 刻 及 以 前 的 数据 来 提取 或 估计 e 时 刻 感 兴趣 信息 的 一 种 运 
算 过 程 。 

© 平滑 (smoothing)” 它 是 一 种 后 验 形式 的 估计 , 它 用 感 兴趣 时 刻 之 后 的 观测 数据 来 进行 
这 种 估计 。 特 别 地 ,时 刻 的 平滑 估计 可 利用 时 间 间 隔 [0，sj(s < #) 内 的 观测 数据 来 
获得 。 因 而 在 平滑 估计 的 计算 中 ,包含 有 ;- 履 的 时 延 。 平 滑 估 计 涉 及 等 竺 更 多 的 数据 
积累 , 故 可 得 到 比 滤波 更 精确 的 估 值 。 

© FRM (prediction) 它 用 上 时 刻 及 以 前 的 数据 来 推断 未 来 :+ rt( 对 某 些 r > 0) 时 刻 感 兴趣 
信息 的 一 种 估计 。 


背景 与 预览 3 


由 图 3 可 以 明显 看 出 ,滤波 和 预测 是 实时 运算 ,而 平滑 是 非 实时 的 。 实 时 运算 意 指 在 该 运 
算 中 ,以 当前 可 得 到 的 数据 为 基础 来 完成 人 们 感 兴趣 的 估计 。 


线性 最 优 滤波 器 


是 其 输入 观测 量 的 线性 函数 , 则 认为 该 滤波 器 是 线性 的 ;否则 ,认为 该 滤波 器 是 非 线 性 的 。 

在 解 线性 滤波 问题 的 统计 方法 中 ,通常 假设 已 知 有 用 信号 及 其 附加 噪声 的 某 些 统计 参数 
(例如 ,均值 和 自 相关 函数 ) ,而 且 需 要 设计 含 噪 数据 作为 其 输入 的 线性 滤波 器 ,使 得 根据 某 种 
统计 准则 噪声 对 滤波 器 的 影响 最 小 。 实 现 该 滤波 器 优化 问题 的 一 个 有 用 方法 是 使 误差 信号 
(定义 为 期 望 响 应 与 滤波 器 实际 输出 之 差 ) 的 均 方 值 最 小 化 。 对 于 平稳 输入 ,通常 采用 所 谓 维 
纳 滤波 器 (Wiener filter) 的 解决 方案 。 该 滤波 器 在 均 方 误差 意义 上 是 最 优 的 。 误 差 信 号 均 方 值 
相对 于 线性 滤波 器 可 调 参 数 的 曲线 通常 称 为 误差 性 能 曲面 。 该 曲面 的 极 小 点 即 为 维 纳 解 。 

维 纳 滤波 器 不 适合 于 应 对 信和 号 和 /或 噪声 非 平稳 的 问题 。 在 这 种 情况 下 ,必须 假设 最 优 滤 
波 器 为 时 变形 式 。 对 于 这 个 更 加 困难 的 问题 ,十 分 成 功 的 一 个 解决 方案 是 采用 卡尔 曼 滤 波 器 
(Kalman filter) 。 该 滤波 器 在 各 种 工程 应 用 中 是 一 个 强 有 力 的 系统 。 

包括 维 纳 滤波 器 和 卡尔 曼 滤波 器 的 线性 滤波 器 理论 已 经 在 连续 时 间 信 号 和 离散 时 间 信 和 号 
文献 中 获得 广泛 的 研究 。 然 而 ,由 于 数字 计算 机 的 广泛 普及 和 数字 信和 号 处 理 器 件 与 日 俱 增 的 
应 用 等 技术 原因 ,离散 时 间 线 性 滤波 器 通常 更 为 人 们 所 乐意 使 用 。 因 此 ,在 后 续 章节 中 ,我们 
仅仅 考虑 离散 时 间 形 式 的 维 纳 滤波 器 和 卡尔 曼 滤波 器 。 在 这 种 形式 中 ,输入 和 输出 信号 ,以 及 
滤波 器 自身 特征 都 定义 在 时 间 的 离散 时 刻 。 在 任何 情况 下 ,连续 时 间 信 和 号 总 可 由 均匀 时 间 间 
隔 观 测 信和 号 定义 的 一 系列 样 值 来 表示 。 在 从 连续 时 间 信和 号 到 离散 时 间 信和 号 的 变换 过 程 中 并 不 
会 发 生 信息 丢失 ,只 需要 满足 众所周知 的 取样 定理 。 该 定理 表明 ,取样 率 必须 高 于 两 倍 的 连续 
时 间 信 和 号 最 高 频率 。 因 此 ,我 们 用 序列 u(n)(n = 0,+ 上 1,+ 上 2,...) 来 表示 离散 时 间 信 号 u(t)。 
为 方便 起 见 , 这 里 把 取样 周期 归 一 化 为 1。 这 一 约定 将 贯穿 全 书 。 


自 适应 滤波 器 


维 纳 滤波 器 的 设计 要 求 所 要 处 理 的 数据 统计 方面 的 先 验 知识 。 只 有 当 输 入 数据 的 统计 特 
性 与 滤波 器 设计 所 依赖 的 某 一 先 验 知识 匹配 时 ,该 滤波 器 才 是 最 优 的 。 当 这 个 信息 完全 未 知 
时 ,就 不 可 能 设计 维 纳 滤波 器 ,或 者 该 设计 不 再 是 最 优 的。 在 这 种 情况 下 ,可 采用 的 一 个 直接 
方法 是 “估计 和 插 人 ”过程 。 该 过 程 包 含 两 个 步 又 ,首先 是 “估计 ”有 关 信 号 的 统计 参数 ,然后 将 
所 得 到 的 结果 “插入 (plug into) " 非 递 归公 式 以 计算 滤波 器 参数 。 对 于 实时 运算 ,该 过 程 的 缺点 
是 要 求 特别 精心 制作 ,而 且 要 求 价 格 昂贵 的 硬件 。 为 了 消除 这 个 限制 ,可 采用 自 适应 滤波 器 
(adaptive filter) 。 采 用 这 样 一 种 系统 ,意味 着 滤波 器 是 自 设计 的 , 即 自 适 应 滤波 器 依靠 递归 算 
法 进行 其 运算 ,这 使 得 它 有 可 能 在 无 法 获得 有 关 信 号 特征 完整 知识 的 环境 下 ,完满 地 完成 滤波 
运算 。 该 算法 将 从 某 些 预先 确定 的 初始 条 件 集 出 发 ,这 些 初 始 条 件 代 表 了 人 们 所 知道 的 上 述 
环境 的 任何 一 种 情况 。 我 们 还 发 现 ,在 平稳 环境 下 ,该 算法 经 一 些 成 功 迭 代 后 收敛 于 某 种 统计 


4 自 适 应 滤波 器 原理 


意义 上 的 最 优 维 纳 解 。 在 非 平稳 环境 下 ,该 算法 提供 了 一 种 跟踪 能 力 , 即 跟踪 输入 数据 统计 特 
性 随时 间 的 变化 ,只 要 这 种 变化 是 足够 缓慢 的 。 

作为 递归 算法 应 用 的 一 个 直接 结果 , 自 适 应 滤波 器 的 参数 将 借 此 从 一 次 迭代 到 男 一 迭代 
进行 更 新 ,滤波 器 参数 变 成 与 数据 相关 。 因 此 ,这 意味 着 自 适应 滤波 器 实际 上 是 一 个 非 线性 系 
统 。 从 这 个 意义 上 讲 , 它 不 遵循 合 加 原理 。 尽 管 有 这 个 特性 , 自 适应 滤波 器 通 常 还 是 分 为 线性 
和 非 线性 两 种 。 如 果 输 入 -输出 映射 遵循 善 加 原理 , 则 认为 这 个 自 适应 滤波 絮 是 线性 的 ;否则 ， 
认为 该 滤波 器 是 非 线性 的 。 

在 线性 自 适应 滤波 器 文献 中 ,已 经 研究 了 大 量 的 递归 算法 。 在 下 面 的 分 析 中 , 自 适 应 算法 
的 选择 取决 于 如 下 一 个 或 多 个 因素 : 


@ 收敛 速率 它 定义 为 算法 在 响应 平稳 输入 时 足够 接近 地 收敛 于 均 方 误差 意义 上 最 优 维 纳 
解 所 需要 的 迭代 数 。 快 速 收敛 允许 算法 快速 自 适应 于 统计 意义 上 未 知 的 平稳 环境 。 

© 失调 (misadjustment) ”对 于 一 个 感 兴趣 的 算法 ,这 个 参数 提供 了 自 适应 滤波 器 集 平均 的 
最 终 均 方 误差 与 维 纳 滤波 器 所 产生 的 最 小 均 方 误差 之 间 偏 离 程度 的 一 个 定量 测量 。 

9 跟踪 (tracking) 当 一 个 自 适 应 滤波 算法 运行 在 非 平稳 环境 时 ,该 算法 需要 跟踪 环境 的 
统计 量变 化 。 然 而 ,算法 的 跟踪 性 能 受到 两 个 相互 矛盾 的 特性 的 影响 :(a) 收 和 敛 速率 ; 
(b) 由 算法 噪声 引起 的 稳 态 波动 。 

© 鲁 棒 性 (robustness) ”对 于 一 个 鲁 棒 的 自 适应 滤波 器 ,小 的 扰动 (disturbance) 只 会 产生 小 
的 估计 误差 。 这 些 扰动 来 源 于 各 种 因素 ,包括 来 自 滤波 器 内 部 或 外 部 的 因素 。 

o 计算 要 求 ”这 里 关心 的 问题 包括 :(a) 完成 算法 的 一 次 完整 迭代 所 需要 的 运算 量 ( 即 乘 
法 、 除 法 、 加 法 和 减法 );(b) 存储 数据 和 程序 所 需要 的 存储 器 容量 的 大 小 ;(e) 在 计算 机 
上 的 时 间 。 

结构 ”涉及 算法 的 信息 流 结构 以 及 硬件 实现 的 方式 。 例 如 ,其 结构 呈现 高 度 模块 化 、 并 
行 下 并 发 的 算法 很 适合 于 使 用 十 大 规模 集成 电路 (VLSI very large-scale integration )© 
实现 。 

@ 数值 特性 ” 当 一 个 算法 数值 实现 时 ,将 产生 由 量化 误差 所 引起 的 不 精确 性 ,该 量化 误差 
依次 由 输入 数据 的 模 / 数 变换 和 内 部 计算 的 数字 表示 所 产生 。 一 般 来 说 ,造成 严重 设计 
问题 的 是 后 者 的 量化 误差 源 。 特 别 地 ,存在 人 们 所 关心 的 两 种 基本 问题 :数值 稳定 性 和 
数值 精确 性 问题 。 数 值 稳定 性 是 自 适应 滤波 算法 固有 的 特征 。 另 一 方面 ,数值 精确 性 
由 表示 数据 样 值 和 滤波 器 系数 的 位 数 ( 即 二 进 制 数字 ) 确 定 。 当 某 种 算法 对 其 数字 实现 
的 字 长 变化 不 敏感 时 ,就 说 该 自 适 应 滤波 算法 是 数值 鲁 棒 的 。 


这 些 因素 以 其 特有 的 方式 也 出 现在 非 线性 自 适 应 滤波 器 设计 中 ,除非 在 维 纳 滤波 器 形式 
中 不 再 有 一 个 明确 规定 的 参考 格式 。 另 外 , 非 线性 滤波 算法 可 能 收敛 于 误差 性 能 曲面 某 一 局 
部 极 小 点 ,也 可 能 收敛 于 它 的 某 一 全 局 极 小 点 。 

除了 第 17 章 和 后 记 外 ,本 书 只 关心 线性 自 适 应 滤波 器 及 其 有 关 课 题 。 


O VLSI 技术 更 适合 于 高 度 模块 化 并行 或 并 发 算法 的 实现 。 当 一 个 结构 由 类 似 的 基本 节 ( 级 ) 级 联 组 成 时 ,就 认为 这 
个 结构 是 模块 化 的 。 并 行 , 意 指 大 量 运算 并 列 进行 的 性 能 。 并 发 , 意 指 在 相同 时 间 内 大 量 类 似 运 算 的 性 能 。 
关于 自 适 应 滤波 器 VLSI 实现 的 讨论 , 见 Shanbhag 和 Parhi(1994) 的 书 。 该 书 强调 使 用 流水 线 ,这 是 用 来 增加 自 适应 
滤波 算法 吞吐 量 的 一 种 体系 结构 技术 。 


线性 滤波 器 结构 


线性 滤波 算法 的 运行 涉及 两 个 基本 过 程 :(1) 滤 波 过 程 , 用 来 对 一 系列 输入 数据 产生 输出 
响应 ;(2) 自 适应 过 程 ,其 目的 是 提供 滤波 过 程 中 可 调 参数 自 适应 控制 的 一 种 机 制 ( 算 法 )。 这 
两 个 过 程 相 互 影响 地 工作 。 自 然 ,滤波 过 程 结 构 的 选择 总 体 上 对 算法 的 运行 具有 深刻 的 影响 。 
_ 线性 滤波 器 的 脉冲 响应 决定 了 滤波 器 的 记忆 能 力 。 另 一 方面 ,可 把 线性 滤波 器 分 为 有 限 
脉冲 响应 (FIR，finite-duration impulse response) 和 无 限 脉冲 响应 (IIR，infinite-duration impulse re- 
sponse) 滤 波 器 ,分 别 由 有 限 记 忆 和 无 限 记忆 来 表征 。 


具有 有 限 记 忆 的 线性 滤波 器 
在 有 限 记忆 自 适应 滤波 器 中 ,存在 三 种 类 型 的 滤波 器 结构 ,如 下 所 述 。 
横向 滤波 器 


横向 滤波 器 (transversal 他 ter)?, 也 称 为 抽 头 延迟 线 滤 波 器 或 有 限 脉冲 响应 滤波 器 , 它 由 
图 4 所 示 的 三 个 基本 单元 组 成 :(a) 单 位 延迟 单元 ;(b) 乘 法 器 ;(c) 加 法 器 。 滤 波 器 中 延迟 单元 的 
个 数 确定 了 脉冲 响应 的 持续 时 间 。 延 迟 单元 个 数 ( 如 图 中 M 所 示 ) ,通常 称 为 滤波 器 的 阶 数 。 在 
该 图 中 ,每 个 延迟 单元 用 单位 延迟 算 子 * 表示。 特别 地 , 当 对 wu(n) 进行 z 运算 时 ,其 结果 输 
出 为 uv(n - 1)。 渡 波 器 中 每 个 乘法 器 的 作用 是 用 滤波 器 系数 [也 称 为 抽 头 权 值 (tap weight)] 乘 以 
与 其 相连 接 的 抽 头 输入 。 于 是 , 连 到 第 〖 个 抽 头 输入 u(n 上) 的 乘法 器 产生 wi u(n -有 ) 的 输 
出 ,其 中 w, 是 抽 头 权 值 , k=0,1,..., M, 星 号 表示 复数 共 罗 。 这 里 假设 抽 头 输入 和 抽 头 权 
值 都 是 复数 。 滤 波 器 中 加 法 器 的 合并 作用 是 对 各 个 乘法 器 输出 求 和 ,并 产生 总 的 滤波 器 输出 。 
对 于 所 示 的 横向 滤波 器 ,其 输出 为 


M 
y(n) = È wkuln =k) (3) 


上 式 叫 做 有 限 卷 积 和 ,因为 它 将 滤波 器 的 有 限 脉冲 响应 w, 与 滤波 器 输入 wun) 卷 积 以 便 产生 
滤波 器 的 输出 y(n)。 


u(r) u(n -1) u(n - 2) u(n—M +1) u(n-M) 





图 4 横向 滤波 器 





@ Kalmanmn(1940) 首 先 把 横向 滤波 器 描述 为 连续 时 间 系 统 ,其 输出 为 非 离散 (nondispersive) 延 迟 线 的 均匀 间隔 抽 头 上 电 
压 的 线性 组 合 构 成 。 横 向 滤波 器 典型 地 利用 数字 电路 、 电 荷 焕 合 器 件 或 声 表面 波 器 件 来 实现 。 由 于 通用 和 易于 实 
现 ,横向 滤波 器 作为 一 种 基本 信号 处 理 结构 ,获得 广泛 应 用 。 


6 自 适 应 滤波 器 原理 


格 型 预测 器 


格 型 预测 器 (lattice predictor)? 具有 模块 结构 。 这 种 模块 结构 由 一 系列 独立 的 基本 节 ( 即 
级 ) 组 成 ,每 一 级 具有 格 型 的 形式 。 图 $ 表示 由 M 级 组 成 的 格 型 预测 器 , M 称 为 预测 器 阶 数 。 
图 中 示 出 的 第 m 级 格 型 预测 器 由 下 列 一 对 输入 输出 关系 (假设 使 用 复数 值 广义 平稳 输入 数 
据 ) 描 述 
fnln) = fn-1(n) + knbmn-i(n — 1) (4) 
和 
po) = bmilan — 1) + Kmfn-iln) (5) 
式 中 m=1,2,...,M，M 为 预测 器 阶 数 。f, (nS m 级 前 向 预测 误差 ,b(n ) 是 第 m 级 后 
向 预测 误差 。k。 叫做 第 mm 级 发 射 系数 。 前 向 预测 误差 f, (nn ) 定 义 为 输入 wu(n) 与 基于 m 个 
过 去 输入 u(n -1),...， u(n 一 m) 所 做 出 的 预测 值 之 差 。 相 应 地 ,后 向 预测 误差 b(n) 定 义 
为 输入 wu(n - m) 与 基于 m 个 未 来 输入 u(n),...， u(n 一 m+1) 所 做 出 的 预测 值 之 差 。 考虑 
图 中 第 1 级 输入 的 条 件 ,我 们 有 
fln) = b(n) = u(n) (6) 
式 中 u(n) A n 时 刻 格 型 预测 器 输入 。 于 是 ,从 式 (6) 的 初始 条 件 出 发 并 给 定 一 组 发 射 系数 e, 
Lo 上 sr: 则 可 经 由 格 型 预测 器 一 级 一 级 地 向 前 推进 ,最终 确定 出 一 对 输出 fy(n) 和 by(n)。 
第 1 级 第 2 级 第 M 级 
fie) FAO) fret) 


Att) fkn) 








5 多 级 格 型 滤波 器 


对 于 由 统计 过 程 获得 的 相关 输入 序列 w(n)，z(m-1)，...， u(n 一 以), 后 向 预测 误差 
bo(n), b(n),..., bu(n) 组 成 一 个 非 相 关 随 机 变量 序列 。 再 则 ,两 个 随机 变量 序列 之 间 在 如 





O 格 型 预测 器 的 推导 引 自 Ttakura 和 Saito(1972) 的 论文 。 
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下 意义 上 存在 着 一 一 对 应 关系 :如 果 给 定 其 中 的 一 个 ,可 以 惟一 地 确定 男 一 个 ,反之 亦 然 。 因 
此 ,后 向 预测 误差 y(n) ,6,(n)，,...,，bu(n) 的 线性 组 合 可 给 出 期 望 响应 序列 4d(n) 的 一 个 全 
计 , 如 图 5 下 半 部 所 示 。d(n) 与 其 估计 值 之 间 的 差 表示 估计 误 差 e(n)。 这 里 描述 的 过 程 称 
为 联合 过 程 估 计 。 当 然 ,也 可 以 直接 应 用 原 输 入 序列 u(n), uln -1),...， u(n 一 MM) 产生 期 
望 响应 的 估计 。 然 而 ,图 中 所 示 的 间接 法 具有 简化 抽 头 权 值 ho ,hi,...，hw 计算 的 优点 ,因为 
它 利用 了 估计 中 所 采用 的 后 向 预测 误差 的 非 相关 特性 。 


脉动 阵列 


脉动 阵列 (systolic array)? 表示 并 行 计算 网 络 , 它 非常 适合 于 映射 大 量 重 要 的 代数 计算 ， 
TE WEEE .三 角 化 和 反 向 替代 。 脉 动 阵列 的 基本 处 理 单元 有 两 种 :边界 单元 和 内 部 单元 ,其 
功能 分 别 画 在 图 6(a) 和 图 6(b) 中 。 在 每 一 种 情况 中 ,参数 > 表示 存储 在 单元 中 的 一 个 数值 。 边 
界 单元 的 作用 是 产生 等 于 wu/r( 即 输入 uw 除 以 存储 在 单元 中 的 数 >) 的 输出 。 内 部 单元 的 作用 有 
两 方面 : (a) 用 存储 在 单元 中 的 > 乘 以 输入 s( 来 自 顶部 ) ,再 从 第 二 个 输入 (来 自 左 边 ) 中 减 去 乘 
BA rs, ATIPE u- rs 作为 该 单位 右边 的 输出 ;(b) 不 用 交替 地 向 下 发 送 第 一 个 输入 so 


输入 
5 
输入 7O 答 入 输出 
u Hu u-rs 
your z 
输出 输出 ， 
(a) 边界 单元 (b) 内 部 单元 


图 6 脉动 阵列 的 两 种 基本 单元 


例如 ,考虑 图 7 所 示 的 3x3 三 角 波 前 阵列 。 该 阵列 涉及 边界 单元 和 内 部 单元 的 组 合 。 在 
这 种 情况 下 ,三 角 阵 列 计算 与 输入 向 量 uu 有关 的 输出 向 量 y 
y= Ru (7) 
式 中 及 -7 是 转 置 矩阵 R MYE, R 的 元 素 是 三 角 阵 列 中 各 自 单元 的 内 容 。 零 加 到 图 中 
阵列 的 输入 中 是 为 了 提供 式 (7) 流 水 线 计 算 所 需要 的 延迟 。 
如 前 所 述 ,脉动 阵列 结构 提供 了 模块 化 .局 部 互 连 、 高 度 流水 线 和 同步 并 行 处 理 ; 其 中 同步 
昔 助 于 全 球 时 钟 获得 。 


具有 无 限 记 忆 的 线性 滤波 器 

图 4 所 示 的 横向 滤波 器 、 图 5 中 格 型 预测 器 联合 过 程 估计 和 图 7 所 示 的 三 角 脉动 阵列 都 
具有 一 个 共同 的 特性 :它们 都 是 由 有 限 脉冲 响应 表征 的 。 换 句 话 说 ,它们 都 是 FIR 滤波 器 的 一 
些 例子 ,其 结构 只 含 前 馈 支 路 。 另 一 方面 ,图 8 所 示 的 结构 是 R 滤波 器 的 一 个 例子 。IIR 滤 
波 器 不 同 于 FIR 滤波 器 的 特征 是 它 包含 反馈 支 路 。 反 馈 的 存在 使 得 IR 滤波 器 的 脉冲 响应 持 





Q@ ”脉动 阵列 最 早 由 Kung 和 Leiserson(1978) 提 出 。 在 特殊 情况 下 ,使 用 脉动 阵列 有 可 能 产生 较 大 的 吞吐 量 ,这 在 实时 
操作 中 需要 运用 大 量 高 级 信和 号 处 理 算 法 时 是 需要 的 。 


8 自 适应 滤波 器 原理 





图 8 IIR 滤波 器 (假定 实 值 数 据 ) 


背景 与 预览 9 


续 时 间 变 为 无 限 长 。 此 外 ,反馈 的 存在 引信 新 的 问题 :潜在 的 不 稳定 。 特 别 地 ,IIR 滤波 器 有 可 
能 变 成 不 稳定 ( 即 发 生 振 荡 ) ,除非 在 选择 反馈 系数 时 采取 特殊 的 预防 措施 。 相 反 地 , FIR 滤波 
器 总 是 稳定 的 。 这 就 解释 了 为 什么 流行 使 用 FIR 滤波 器 ,并 将 其 作为 设计 线性 自 适 应 滤波 器 
的 结构 基础 。 

构造 IR 自 适应 滤波 器 并 以 简单 方式 满足 稳定 性 要 求 的 一 种 新 颖 方法 是 使 用 横向 Laguerre 
滤波 器 。 图 9 示 出 这 种 滤波 器 的 结构 ,其 中 使 用 Laguerre 函数 代替 单位 延迟 。 特 别 地 ,我 们 有 








1 一 2 
Lolz) = 1 二 = (8) 
All 
Lil) = To (9) 


Lo(z)FN Li (2) a 参数 化 ,为 了 保证 该 滤波 器 的 稳定 性 ,参数 a 的 选择 受到 如 下 约束 


0<ldl<1 





图 9 Laguerre 横向 滤波 器 


图 10(a) 和 图 10(b) 分 别 示 出 a 取 正 值 和 负 值 时 L,(z) 的 零 - 极 点 模式 ;类 似 地 ,图 11(a) 和 图 11(b) 分 
别 示 出 a 取 正 值 和 负 值 时 Li(z) 的 零 - 极 点 模式 。 由 图 可 见 : 


@ Kit I,(z) 还 是 Li(z) 都 是 稳定 的 滤波 器 ,因为 它们 惟一 的 极点 z = a 在 z 平面 单位 圆 内 。 

© EH) Laguerre 滤波 器 Lo(z) 是 一 个 一 阶 低 通 滤波 器 ( 当 a 为 正 值 时 ) 或 一 阶 高 通 滤波 器 
C a 为 负 值 时 )。 

© 一 阶 Laguerre 滤波 器 Li(z) 是 一 个 一 阶 全 通 滤波 器 。 





(a) 参数 a 是 正 的 (b) 参数 a 是 负 的 
图 10 LL(z) 的 零 - 极 点 模式 
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图 10 和 图 11 的 参数 a 假设 是 实数 ;如 果 需 要 的 话 ,也 可 以 假设 是 复数 值 。 





(a) 参数 a 是 正 的 (b) 参数 a 是 负 的 
图 11 Li(z) 的 零 - 极 点 模式 


线性 自 适应 滤波 器 的 研究 方法 


线性 自 适应 滤波 问题 不 存在 惟一 的 解决 方案 ,但 存在 表示 各 种 递归 算法 的 “工具 包 ”, 它 可 
提供 每 一 种 算法 可 能 达到 的 滤波 特性 。 自 适应 滤波 用 户 面临 的 挑战 包括 :首先 要 了 解 各 种 自 
适应 滤波 算法 的 能 力 和 限制 ;其 次 要 把 了 解 到 的 知识 用 于 选择 合适 的 算法 以 满足 各 自 的 应 用 


线性 自 适 应 滤波 器 基本 上 存在 如 下 两 种 不 同 的 推导 方法 。 
随机 梯度 法 


随机 梯度 法 (stochastic gradient approach) 使 用 抽 头 延迟 线 或 者 横向 滤波 器 作为 实现 线性 自 
适应 滤波 器 的 构造 基础 。 对 于 平稳 输入 的 情况 ,代价 函数 (也 称 为 性 能 指标 ) 定 义 为 均 方 误 
差 ( 即 期 望 响 应 与 横向 滤波 器 输出 之 差 的 均 方 值 )。 代 价 函 数 恰好 是 横向 滤波 器 中 抽 头 权 值 的 
二 次 函数 。 该 抽 头 权 值 的 均 方 误差 函数 可 看 做 是 具有 惟一 确定 的 极 小 点 的 多 维 抛物 面 。 我 们 
把 这 个 抛物 面 称 为 误差 性 能 曲面 ;对 应 于 该 曲面 极 小 点 的 抽 头 权 值 定义 了 最 优 维 纳 解 。 

为 了 推导 更 新 自 适应 横向 滤波 器 抽 头 权 值 的 递归 算法 ,我 们 分 两 步 进行 这 项 工作 。 首 先 ， 
使 用 迭代 方法 求解 维 纳 - 霍 夫 方程 (Wiener-Hopf equation) ;迭代 过 程 以 最 优化 理论 中 人 们 所 熟 
知 的 最 速 下 降 法 (method of steepest descent) 为 基础 。 这 个 方法 需要 使 用 梯度 向 量 , 其 值 取 决 于 
两 个 参量 :横向 滤波 器 中 抽 头 输入 的 自 相 关 和 矩阵 以 及 期 望 响应 与 该 抽 头 输入 之 间 的 互相 关 疝 
量 。 其 次 ,我 们 使 用 这 些 相 关 的 瞬 态 值 ,以 便 导 出 梯度 向 量 的 估计 值 ,推导 中 假设 该 向 量 是 随 
机 的 。 基 于 上 述 思想 的 算法 ,通常 称 为 最 小 均 方 (LMS,least-mean-square) 算 法 。 当 横向 滤波 器 
运行 在 实数 据 的 情况 下 ,该 算法 大 体 上 可 描述 为 


( 抽 头 权 向 量 更 新 值 ) = ( 老 的 抽 头 权 向 量 值 ) + (学 习 速率 参数 )( 抽 头 输入 向 量 ) 儿 误差 信号 》 
其 中 误差 信号 定义 为 期 望 向 量 与 抽 头 输入 向 量 所 产生 的 横向 滤波 器 实际 向 量 之 差 。 











D 在 函数 的 一 般 定 义 中 ,我 们 经 常 说 到 从 向 量 空间 到 实数 (复数 ) 标 量 的 变换 (Luenberger，1969; Domy, 1975)。 代 价 函 
数 提供 了 分 配 性 能 指标 的 定量 度量 ,从 而 限制 它 为 标量 。 
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LMS 算法 很 简单 ,而 且 在 正确 条 件 下 可 获得 满意 的 性 能 。 其 主要 缺点 是 收敛 速率 相当 组 
慢 , 而 且 对 抽 头 输入 相关 和 盾 阵 条 件数 (矩阵 的 条 件数 定义 为 其 最 大 特征 值 与 最 小 特征 值 之 比 ) 
的 变化 比较 敏感 。 即 使 这 样 ,LMS 算法 仍然 十 分 流行 且 应 用 广泛 。 

在 非 平稳 环境 下 ,误差 性 能 曲面 的 方向 随时 间 连 续 变 化 。 在 这 种 情况 下 ,LMS 算法 有 一 个 
连续 跟踪 误差 性 能 曲面 极 小 点 的 附加 任务 。 实 际 上 ,只 要 输入 数据 变化 比 LMS 算法 学 习 速率 
来 得 慢 时 ,就 会 发 生 跟 踪 问题 。 

随机 梯度 方法 也 用 于 格 型 结构 。 产 生 的 自 适 应 滤波 算法 叫做 梯度 自 适应 格 型 (GAL, gradient 
adaptive lattice) 算 法 。LMS 和 GAL 算法 是 线性 自 适应 滤波 器 随机 梯度 族 的 两 个 成 员 , 而 且 迄 今 为 
止 ,LMS 仍然 是 这 个 家 族 中 最 流行 的 一 员 。 


最 小 二 乘 估计 


第 二 种 线性 自 适 应 滤波 算法 方法 以 最 小 二 乘法 为 基础 。 根 据 这 个 方法 ,我 们 对 加 权 误 差 
平方 和 形式 的 代价 函数 进行 最 小 化 ,其 中 误差 或 残 差 定义 为 期 望 响应 与 实际 滤波 器 输出 之 差 。 
最 小 二 乘法 可 用 块 估计 或 递归 估计 来 表示 。 在 块 估计 中 ,输入 数据 流 以 等 长 度 块 的 形式 排列 ， 
而 且 一 块 一 块 地 对 输入 数据 进行 滤波 处 理 ; 而 在 递归 估计 中 ,一 个 样 值 一 个 样 值 地 对 感 兴趣 的 
估计 (例如 ,横向 滤波 器 的 抽 头 权 值 ) 进 行 更 新 。 通 常 ,递归 估计 比 块 估计 要 求 较 少 的 存储 量 ， 
这 就 是 为 什么 在 实际 中 递归 估计 的 使 用 要 多 得 多 的 原因 。 

递归 最 小 二 乘 (RLS, Recursive least-squares) 可 看 做 卡尔 曼 滤 波 的 一 个 特例 。 卡 尔 曼 滤 波 器 
著名 的 特点 是 引入 状态 概念 , 它 是 对 特定 时 刻 加 到 滤波 器 抽 头 的 所 有 输入 的 一 个 度量 。 于 是 ， 
在 卡尔 曼 滤 波 算法 的 核心 部 分 ,存在 一 种 递 推 关系 , 它 可 用 文字 表述 为 


(状态 递 推 值 ) = 〈 旧 的 状态 值 ) + (卡尔 曼 增益 )( 新 息 向 量 ) 


其 中 新 息 向 量 表示 在 计算 时 刻 进入 滤波 过 程 的 新 的 信息 。 现 在 ,我 们 有 足够 的 把 握 说 ,在 卡尔 
BEES RLS 变量 之 间 的 确 存 在 一 一 对 应 关系 。 这 个 对 应 关系 使 得 我 们 可 以 从 大 量 卡 尔 曼 
滤波 器 文献 中 选择 一 些 方法 用 来 设计 基于 最 小 二 乘 估计 的 线性 自 适 应 滤波 器 。 此 外 ,取决 于 
所 采用 的 方法 ,递归 最 小 二 乘 线性 自 适 应 滤波 算法 族 可 分 为 三 类 : 


a) 标准 RLS 算法 “” 它 假设 使 用 横向 滤波 器 作为 线性 自 适 应 滤波 器 的 结构 基础 。 标 准 
RLS 算法 的 推导 依赖 于 线性 代数 中 的 一 个 基本 结果 一 一 矩阵 求 逆 引 理 。 更 重要 的 是 ， 
该 算法 既 有 相同 于 标准 卡尔 曼 滤 波 算法 的 优点 ,也 受到 相同 的 限制 ,如 缺乏 数值 鲁 棒 
性 和 计算 复杂 性 过 高 。 正 是 这 两 个 限制 促使 人 们 研究 开发 另 两 类 RLS 算法 。 

b) 平方 根 RLS 算法 “” 它 基于 输入 数据 矩阵 的 QR 分 解 。 完 成 这 个 分 解 的 两 种 众所周知 
的 技术 是 豪 斯 霍 尔 德 (Householder) 变换 和 吉文 斯 (Givens) 旋 转 ,此 二 者 都 是 数据 自 适应 
的 变换 。 就 所 讨论 的 问题 而 言 ,基于 豪 斯 霍 尔 德 变换 或 吉文 斯 旋转 的 RLS 算法 是 数值 
稳定 的 和 和 鲁 棒 的 。 由 此 产生 的 线性 自 适 应 滤波 器 叫做 平方 根 自 适应 滤波 器 ,因为 在 和 矩 
阵 意义 上 它们 表示 了 标准 RLS 算法 的 平方 根 形式 。 

c) 快速 RLS 算法 标准 RLS 算法 和 平方 根 RLS 算法 都 具有 随 M 增加 的 计算 复杂 性 ,其 
中 M 是 算法 中 可 调 权 值 的 数目 ( 即 自由 度数 )。 这 种 算法 通常 称 为 0( MM ) 算 法 ,其 中 
OCRE x 的 数量 级 。 相 反 ,LMS 是 0(M) 算 法 ,其 中 的 计算 复杂 性 随 M 线性 增加 。 
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当 MM 很 大 时 ,从 硬件 实现 的 观点 看 , OM ) 算 法 的 计算 复杂 性 将 会 变 得 不 可 接受 

此 存在 一 个 强烈 的 动因 ， 以 假设 计算 复杂 性 为 0( M) 形 式 的 方式 修正 RIS HAE ANIL 
公式 。 在 瞬 态 处 理 的 情况 下 XT AE TTAB EGA A A Cee AS SIA 

效 (Toeplitz) 结 构 所 固有 的 元 余 度 这 个 优点 ,其 次 利用 前 向 和 后 向 线性 最 小 平方 预测 中 

的 元 余 度 。 这 样 产 生 的 算法 都 称 为 快速 RLS 算法 。 这 些 算法 组 合 了 具有 0(M) 计 算 

复杂 性 的 递归 线性 最 小 二 乘 估计 的 期 望 特性 。 取 决 于 所 采用 的 滤波 结构 ,一般 存 在 两 

种 形式 的 快速 RLS 算法: 


@ 阶 更 新 自 适 应 滤波 器 ” 它 以 类 似 于 线性 前 向 和 后 向 预测 中 采用 的 格 型 结构 为 
基础 。 . 
@ 快速 模 向 滤波 器 ”在 该 结构 中 ,线性 前 向 和 后 向 预测 用 分 离 的 横向 滤波 器 来 完成 。 


某 些 (但 不 是 全 部 ) 阶 更 新 自 适 应 滤波 器 的 实现 已 经 证 明 是 数值 稳定 的 ,而 快速 横向 滤 
波 器 将 会 遇 到 数值 稳定 性 问题 , 故 其 实际 应 用 受到 了 限制 。 


上 述 关于 线性 自 适应 滤波 器 的 初步 讨论 将 是 很 不 完整 的 ,更 不 用 说 关于 其 跟踪 特性 的 某 
些 内 容 。 在 这 个 范围 内 ,我 们 注意 到 诸如 LMS 算法 等 随机 梯度 算法 是 模型 无 关 的 。 一 般 来 
说 ,人 们 期 望 它 呈 现 好 的 跟踪 特性 ,实际 上 它 也 做 到 了 这 一 点 。 相 反 ,RILS 算法 是 模型 相关 的 ， 
这 意味 着 其 跟踪 性 能 可 能 比 大 量 的 随机 梯度 算法 族 来 得 差 ,除非 人 们 注意 使 作为 其 算法 基础 
的 数学 模型 与 产生 输入 数据 的 基础 物理 过 程 之 间 的 失 配 最 小 化 。 


如 何 选 择 自 适应 滤波 器 


在 给 出 对 系统 设计 者 可 用 的 各 种 自 适应 滤波 器 后 ,如 何 选择 自 适 应 滤波 器 以 解决 感 兴趣 
的 应 用 问题 呢 ? 很 清楚 ,无论 何 种 选择 ,都 必须 是 计算 费用 有 效 的 。 牢 记 这 个 目标 ,我 们 可 
以 看 清 要 注意 的 三 个 重要 问题 :计算 费用 、 性 能 和 重 棒 性 。 计 算 机 模拟 可 作为 详细 研究 这 些 问 
题 的 第 一 步 。 可 以 从 使 用 LMS 算法 出 发 ,并 把 它 作 为 自 适应 滤波 工具 以 便 满 足 研 究 需 要 。 
LMS 算法 的 实现 相对 简单 ,而且 足 以 强 有 力 地 评价 现 有 问题 各 种 自 适应 应 用 的 实际 效益 。 再 
则 , 它 还 可 为 评价 进一步 性 能 改进 提供 实际 的 参考 框架 ,这 种 改进 可 通过 使 用 更 复杂 的 自 适应 
滤波 算法 来 获得 。 最 后 ,该 研究 还 必须 包括 对 现实 世界 数据 的 测试 ,而 且 该 测试 是 不 可 替 
代 的 。 

自 适应 滤波 的 实际 应 用 是 千变万化 的 ,而且 每 种 应 用 具有 各 自 的 特殊 性 。 所 以 ,对 于 一 种 
应 用 的 解决 方案 不 一 定 适用 于 另外 一 种 应 用 。 不 过 ,要 获得 成 功 ,必须 从 物理 上 理解 与 感 兴趣 
实际 应 用 有 关 的 滤波 器 运行 环境 。 


自 适应 滤波 器 的 实数 和 复数 形式 


在 研究 自 适应 滤波 算法 时 ,不 管 其 来 源 如 何 ,习惯 上 都 假设 输入 数据 是 基带 形式 的 。“ 基 
带 ” 用 来 指明 由 信息 源 产生 的 源 (消息 ) 信 号 所 表示 的 频带 。 

在 诸如 通信 、 雷 达 、 声 纳 等 应 用 中 ,接收 机 输入 的 承载 信息 的 信号 典型 地 由 调制 在 载波 上 
的 消息 信号 组 成 。 消 息 信和 号 的 带宽 通常 小 于 载波 频率 。 这 意味 着 调制 信号 是 窄带 信号 。 为 了 
获得 窄带 信号 的 基带 表示 ,信和 号 以 完全 消除 载波 影响 的 方式 进行 向 下 频谱 搬移 ,在 搬移 过 程 中 
完全 保护 包含 在 消息 信号 中 的 信息 。 一 般 来 说 ,这 样 得 到 的 基带 信号 是 复数 的 。 换 句 话说 , 信 
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号 样 值 可 以 写 为 
u(n) = u(n) + jug(n) (10) 
式 中 w(n) 是 同 相 (in-phase) (实数 ) 分 量 ,wo (n) 是 正 交 (虚数 ) 分 量 。 等 价 地 ,我 们 有 
u(n) = |u(n)|e* (11) 
式 中 1x(z)1 和 (nz) 分 别 是 信号 的 幅度 和 相 角 。 
因此 ,在 本 书后 续 章 节 中 研究 的 自 适应 滤波 器 (无 论 是 线性 还 是 非 线性 滤波 器 ) 理 论 中 都 假 
设 使 用 复数 信号 。 也 就 是 说 ,该 自 适应 滤波 算法 是 复数 形式 的 。 复 数 自 适 应 滤波 器 的 重要 优点 
在 于 , 它 使 后 面 提 到 的 应 用 领域 中 所 遇 到 的 复数 信号 具有 紧凑 的 数学 表达 式 和 完美 的 结构 。 
如 果 要 处 理 的 信号 是 实数 的 ,我 们 自然 使 用 感 兴趣 的 实数 形式 自 适应 滤波 算法 。 给 出 自 
适应 滤波 器 的 复数 形式 , 将 其 变 为 相应 的 实数 形式 将 是 很 简单 的 。 特别 地 , 我 们 做 如 下 两 件 
事情 : 
e FRAPAR RHC AM BERRA EE , 
o BRK RAR KF ( Henmitian) f S (BHF BAY, RRM BRR HK 
特 转 置 。 


做 这 样 的 简单 处 理 后 ,复数 自 适应 滤波 器 就 包括 实数 自 适应 滤波 器 作为 其 特例 。 
自 适应 波束 形成 


上 面 讨论 的 自 适 应 滤波 方法 和 结构 都 是 属于 时 间 域 的 。 在 这 类 滤波 器 中 ,滤波 运算 在 时 
域 进 行 。 当 然 , 自 适应 滤波 也 可 以 是 空间 域 的 。 在 这 类 滤波 器 中 ,独立 传感器 阵列 代替 了 空间 
的 不 同 点 以 便 “ 听 到 "来 自 某 一 距离 的 信和 号。 实际 上 ,传感器 提供 了 在 空间 对 接收 信号 取样 的 
一 种 手段 。 在 某 一 特殊 时 刻 收集 到 的 传感器 输出 集 构成 信 源 的 一 个 “快照 "。 当 传感器 均匀 地 
位 于 某 一 直线 上 的 时 候 ,空间 滤波 器 中 的 数据 快照 起 到 了 类 似 于 某 一 特定 时 刻 横向 滤波 器 中 
的 一 组 连续 抽 头 输入 的 作用 下 。 

阵列 信号 处 理 的 重要 应 用 包括 如 下 方面 : 


o 雷达 这 里 的 传感器 由 能 够 对 人 射电 磁 波 做 出 响应 的 天 线 阵 元 组 成 ,而 且 要 求 能 对 辐 
射电 磁 波 做 出 响应 的 信号 源 做 出 检测 , 估计 波 到 达 角 , 并 提取 有 关 信 号 源 的 信息 。 
o mA 这 里 的 传感器 由 用 来 对 人 射 声波 做 出 响应 的 水 中 听 音 器 组 成 ,而 且 要 求 其 信和 号 
处 理 类 似 于 雷达 中 的 信号 处 理 。 
@ 语音 增强 ”这 里 的 传感器 由 麦克 风 组 成 ,而 且 要 求 在 有 背景 噪声 的 情况 下 能 听 到 期 户 
说 话 者 的 声音 。 
在 这 些 应 用 中 ,所 谓 波束 形成 (beamfoming) 的 目的 在 于 区 分 信号 和 噪声 的 空间 特性 。 用 来 做 
波束 形成 的 系统 叫做 波束 形成 器 (beamformer) 。“ 波 束 形 成 器 这 个 术语 来 自 这 样 一 个 事实 : 早 
期 的 天 线 被 设计 成 射 束 的 形式 ,以 便 接收 从 特定 方向 发 射 的 信 源 信号 并 衰减 不 感 兴趣 的 其 他 
方向 的 信号 (Van Veen & Buckley，1988)。 波 束 形成 应 用 于 能 量 的 发 射 和 接收 。 





O 时间 域 与 空间 域 信 号 处 理 之 间 相 似 性 的 讨论 , 见 Bracewell( 1986) , Van Veen 和 Buckley(1988) 的 论文 。 
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图 12 示 出 使 用 相同 传感器 的 线性 阵列 的 自 适 应 波束 形成 器 框图 。 传 感 器 输出 (假设 是 
基带 形式 ) 信 和 号 各 自 加 权 并 求 和 ,以 便 产 生 波 束 形成 器 的 总 输出 。 波 束 形成 器 必须 满足 两 个 
BOR; 

e $$ 16) (steering) #6 7) 借 此 ,目标 ( 源 ) 信 号 总 是 受 保护 。 

e 干扰 消除 ”这样 , 使 得 输出 信 噪 比 最 大 。 

传感器 阵列 可 调 权 值 





图 12 五 个 传感器 阵列 的 自 适 应 波束 形成 器 
满足 这 些 要 求 的 一 种 方法 是 : 自 适 应 过 程 中 ,在 Mx1 权 向 量 w(n) 满 足 如 下 条 件 
w"(n)s(0) = 1 对 于 所 有 n 和 O = 0 (12) 


的 约束 下 ,使 波束 形成 器 输出 的 方差 (平均 功率 ) 极 小 化 。 式 中 ,s(9) 是 M x 1 转向 向 量 , 上 标 
表示 埃 尔 米 特 转 置 。 假 设 基带 信号 是 复数 值 ,因而 需要 复数 共 轿 运算 。 角 度 9 = 0, 的 值 由 
目标 的 方向 来 确定 。 角 度 9 以 传感器 0 作为 参考 点 进行 自我 测量 。 
转向 向 量 对 9 的 依赖 性 用 如 下 关系 来 定义 
s(6) = [1,e%,...,e%M D9]? (13) 
令 4 表 示 平 面 波 实际 人 射 角 , 它 是 由 相对 于 线性 阵列 的 法 线 测 得 的 。 则 根据 图 13 ,容易 看 出 


2rd 
0 = Esing, —n/2<0< 1/2 (14) 
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RP d FAKES ASB ERAS TA] YB A 是 人 射 波 的 波长 。 由 于 4 限制 在 [ - zw/2, x/2] 范 围 
内 而 0 的 允许 值 在 [ -x, wj] 范围 内 , 故 由 式 (12) 可 见 ,d 必须 小 于 /2, 以 使 得 $ 与 0 值 之 间 存 
在 一 一 对 应 关系 。 于 是 ,要 求 d < A/2 可 看 做 取样 定理 的 空间 域 表示 。 如 果 这 个 要 求 不 满足 ， 
则 波 东 形成 器 的 辐射 (天 线 ) 模 式 将 呈现 格 棚 型 波 办 (grating lobes) (Skolnik，1980)。 该 辐射 模 
式 就 是 波束 形成 器 输出 功率 作为 其 测量 方向 函数 的 一 个 关系 图 。 





阵列 的 法 线 


传感器 1 


图 13” 当 平面 波 入 射 到 线性 阵列 上 时 产生 的 空间 时 延 


对 式 (12) 所 强加 的 信号 保护 约束 保证 :对 于 规定 的 观察 方向 0 = 0, ,不 管 权 向 量 w 的 元 素 
取 什 么 值 ,阵列 响应 将 维持 不 变 (等 于 1)。 在 这 个 约束 下 ,使 波束 形成 器 输出 方差 最 小 化 的 算 
法 很 自然 地 称 为 最 小 方 益 失 真 响 应 (MVDR, minimum-variance distortionless response) 波 束 形 成 算 
法 。 注 意 ,强加 的 信号 保护 约束 使 可 用 自由 度数 变 为 M - 2, 其 中 M 是 阵列 中 传感器 的 数目 。 
因此 ,由 MVDR 产生 的 独立 空 值 数 ( 即 能 够 消除 独立 干扰 的 数目 ) 为 M -2。 








自 适应 滤波 器 的 四 种 应 用 


自 适应 滤波 器 具有 在 未 知 环境 下 良好 运行 并 跟踪 时 变 输 入 统计 量 的 能 力 ,使 得 自 适 应 滤 
波 器 成 为 信号 处 理 和 自动 控制 应 用 的 强 有 力 手 段 。 实 际 上 , 自 适应 滤波 器 已 经 成 功 地 应 用 于 
fa Bik aN .地 震 学 和 生物 医学 工程 等 领域 。 尽 管 这 些 应 用 在 特性 方面 千变万化 ,但 它们 
都 有 一 个 共同 的 基本 特征 :用 输入 向 量 和 期 望 响 应 来 计算 佑 计 误 差 , 并 用 该 误差 依次 控制 一 组 
可 调 滤波 器 系数 。 取 决 于 所 采用 的 滤波 器 结构 ,可 调 系数 可 取 抽 头 权 值 ` 反 射 系数 或 旋转 参数 
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等 形式 。 然 而 , 自 适应 滤波 器 各 种 应 用 之 间 的 本 质 不 同 在 于 其 期 望 响 应 的 获取 方式 不 同 。 据 
此 ,可 把 自 适 应 滤波 器 应 用 分 为 四 种 类 型 ,如 图 14 所 示 。 为 方便 起 见 ,图 中 使 用 如 下 记号 : 

u = 加 到 自 适应 滤波 器 的 输入 

y = 自 适应 滤波 髓 的 输出 

d = 期 望 响应 

e =d- y = 估计 误差 








系统 

了 sa 2 

随机 系统 
信号 输出 1 


e 
自 适 应 滤波 器 ae 


(c) 预测 





(d) 干扰 消除 
图 14 自 适 应 滤波 应 用 的 四 种 基本 类 型 
自 适应 滤波 器 应 用 的 四 种 基本 类 型 的 作用 描述 如 下 : 
1) 辨识 [图 14(a)] 数学 模型 概念 是 科学 与 工程 的 基础 。 在 这 类 涉及 辨识 的 应 用 中 , 自 
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适应 滤波 器 用 来 提供 一 个 在 某 种 意义 上 能 够 最 好 拟 合 未 知 装置 的 线性 模型 。 该 装置 
和 自 适应 滤波 器 由 相同 的 输入 激励 。 该 装置 的 输出 提供 作为 自 适 应 滤波 器 的 期 望 响 
应 。 如 果 该 装置 具有 动态 特性 , 则 自 适应 滤波 器 所 提供 的 模型 将 是 时 变 的 。 

2) 逆 模 型 [图 14(b)] 在 第 二 类 应 用 中 , 自 适 应 滤波 器 的 作用 是 提供 一 个 逆 模 型 ,该 模型 
可 在 某 种 意义 上 最 好 拟 合 未 知 品 声 装置 。 理 想 地 ,在 线性 系统 的 情况 下 ,该 道 模型 具 
有 等 于 未 知 装置 转移 函数 倒数 的 转移 函数 ,使 得 二 者 的 组 合 构成 一 个 理想 的 传输 媒 
介 。 该 装置 (系统 ) 输 入 的 延迟 构成 自 适应 滤波 器 的 期 望 响应 。 在 某 些 应 用 中 ,该 装置 
(系统 ) 输 入 不 加 延迟 地 用 做 期 望 响应 。 

3) 预测 [图 14(c)] 这 里 , 自 适应 滤波 器 的 作用 是 对 随机 信号 的 当前 值 提供 某 种 意义 上 
的 一 个 最 好 预测 。 于 是 ,信号 的 当前 值 用 做 自 适 应 滤波 器 的 期 望 响应 。 信 号 的 过 去 值 
加 到 滤波 器 的 输入 端 。 取 决 于 感 兴趣 的 应 用 , 自 适 应 滤波 器 的 输出 或 估计 (预测 ) 误 差 
均 可 作为 系统 的 输出 。 在 第 一 种 情况 下 ,系统 作为 一 个 预测 器 ;而 在 后 一 种 情况 下 , 系 
统 作为 预测 误差 滤波 器 。 

4) 干扰 消除 [图 14(d)] 在 最 后 一 类 应 用 中 , 自 适应 滤波 器 以 某 种 意义 上 的 最 优化 方式 
消除 包含 在 基本 信号 中 的 未 知 干扰 (类 似 于 一 个 承载 信息 的 信号 分 量 )。 基 本 信号 用 
做 自 适应 滤波 器 的 期 望 响 应 ,参考 (辅助 ) 信 号 用 做 滤波 器 的 输入 。 参 考 信 号 来 自 定位 
的 某 一 传感器 或 一 组 传感器 ,并 以 承载 信息 的 信和 号 是 微弱 的 或 基本 不 可 预测 的 方式 ， 
加 到 基本 信号 上 。 


表 1 列 出 某 些 特 定 的 应 用 以 便 说 明 自 适应 滤波 器 应 用 的 四 种 基本 类 型 。 所 列 出 的 应 用 来 
自控 制 系统 、 地 震 学 ,心电图 学 .通信 和 雷达 等 领域 。 其 用 途 列 在 表 中 最 后 一 列 。 


表 1 自 适 应 滤波 器 的 应 用 








自 适 应 滤波 的 类 型 应 用 用 途 
BHA 系统 辨识 给 定 一 个 未 知 的 动态 系统 ,系统 辨识 的 目的 是 设计 一 个 自 适 应 滤波 
器 以 通 近 该 动态 系统 
分 层 地 球 建 模 在 地 震 探 测 中 ,开发 研究 地 球 的 分 层 模型 ,以 解释 地 球 表面 的 复杂 
逆 模 型 均衡 请 是 一 个 未 知 脉冲 响应 的 信道 , 自 适应 均衡 器 的 用 途 是 道 过 操作 信 
道 输出 ,使 得 信道 与 均衡 器 的 级 联 提供 理想 传输 媒介 的 一 个 良好 
逼近 
预测 预测 编码 自 适应 预测 用 来 对 感 兴趣 信号 (如 语音 信号 ) 建 模 , 而 不 是 直接 对 信 


号 编码 。 在 该 编码 中 ,预测 误差 被 编码 以 便 传输 和 存储 。 典 型 地 ， 
预测 误差 具有 比 原 信号 更 小 的 方差 ,从 而 作为 改进 编码 的 基础 


谱 分 析 在 这 项 应 用 中 , 预测 模型 用 于 估计 某 一 感 兴趣 信号 的 功率 谱 
干扰 消除 噪声 消除 自 适 应 噪声 消除 器 的 目的 是 从 接收 信号 中 去 除 噪声 以 改善 信 噪 比 。 
电话 电路 中 过 到 的 回音 消除 是 噪声 消除 的 一 种 特殊 形式 。 品 声 消 
除 也 用 在 心电图 学 中 
波束 形成 波束 形成 器 是 由 具有 可 调 加 权 系 数 的 天 线 阵 元 组 成 的 空间 滤波 器 。 


自 适应 波 东 形成 器 的 双重 目的 是 , 自 适 应 地 控制 加 权 系 数 以 便 消除 
与 未 知 方向 阵列 密切 有 关 的 干扰 信号 ,并 同时 对 感 兴趣 目标 信号 提 
供 保护 
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历史 回顾 


一 一 为 了 理解 一 种 科学 ,必须 知道 它 的 历史 [ Auguste Comte(1798 ~ 1857) ] 


我 们 将 通过 回顾 与 本 书 课题 紧密 相关 的 三 个 研究 领域 来 完成 这 个 导 引 性 章节 。 这 三 个 领 
域 是 :线性 估计 理论 线性 自 适应 滤波 器 、 自 适应 信号 处 理应 用 。 对 于 神经 网 络 的 历史 回顾 , 读 
者 可 参考 本 书 作者 的 另 一 著作 (Haykin，1999 ) 。 


线性 估计 理论 


最 早 促使 人 们 研究 线性 估计 (滤波 器 ) 理 论 0 的 动因 明显 地 来 自 于 天 文学 研究 。 在 这 些 
研究 中 ,人 们 利用 望远镜 观测 数据 以 研究 行星 和 蔡 星 的 运动 。 为 尝试 求 取 各 种 误差 国 数 极 小 
值 ,伽利略 (Galileo) 开 启 了 估计 理论 研究 ,并 在 1632 年 进行 了 一 些 开 创 性 的 研究 工作 。 然 而 ， 
线性 估计 理论 的 发 明 归功 于 高 斯 (Gauss) ,他 在 1795 年 18 岁 的 时 候 发 明了 最 小 二 乘法 以 便 研 究 
天 体 的 运动 (Gauss，1809)。 不 过 ,关于 最 小 二 乘法 的 实际 发 明 者 ,在 19 世纪 初 存在 很 大 的 争论 。 
争论 的 发 生 是 因为 高 斯 没有 在 发 明 最 小 二 乘法 的 当年 (1795 年 ) 发 表 他 的 发 现 ,而 是 由 Legendre 
首先 在 1805 年 发 表 了 最 小 二 乘法 ,并 在 三 年 后 单独 公布 了 该 发 明 (Legendre,1810)。 

随机 过 程 中 的 最 小 均 方 估计 的 最 初 研究 是 由 Kolmogorov. Krein 和 Wiener 在 20 世纪 30 年 
代 末 和 20 世纪 40 年 代 进 行 的 (Kolmogorov, 1939; Krein, 1945; Wiener, 1949 ) Kolmogorov 和 
Krein 的 工作 与 Wiener 的 工作 是 独立 进行 的 ,尽管 其 结果 存在 某 些 重合 ,但 各 自 的 目标 却 十 分 
不 同 。 在 Gauss 问题 与 Kolmogorov、Krein 和 Wiener 所 研究 问题 之 间 存 在 着 许多 概念 上 的 差异 
(如 140 年 后 人 们 所 期 待 的 )。 

受 Wold 的 离散 时 间 平 稳 过 程 早 期 著作 (Wold,1938) 的 启发 ,Kolmogorov 提出 了 离散 随机 过 
程 线 性 预测 问题 的 一 个 综述 。Krein 注意 到 Kolmogorov 的 研究 结果 与 Sego 关于 正 交 多 项 式 
(Szeg6,1939; Grenander & Szeg6,1958) 某 些 早期 工作 之 间 的 关系 ,并 通过 线性 变换 的 灵巧 应 用 推 
广 了 该 结果 。 

Wiener 独立 地 系统 阐述 了 连续 时 间 预 测 问 题 并 导出 了 最 优 预 测 器 的 显 式 公 式 。 他 也 考虑 
了 估计 含 加 性 噪声 过 程 的 滤波 问题 ,求解 该 积分 问题 所 需要 的 最 优 估计 公式 称 为 维 纳 - 霍 夫 方 
程 (Wiener & Hopf, 1931). 

在 1947 年 ,Levinson 系统 地 研究 了 离散 时 间 维 纳 滤波 问题 。 在 离散 时 间 信 号 情况 下 , 维 纳 - 
ERATED AREER 

Rw, =P (15) 
式 中 w, 是 横向 滤波 器 形式 的 维 纳 滤波 问题 的 抽 头 加 权 向 量 ,R SLA HT, p 是 
抽 头 输入 与 期 望 响 应 之 间 的 互相 关 向 量 。 对 于 平稳 输入 ,相关 和 矩阵 R 假设 是 特殊 结构 的 托 普 
利兹 矩阵 , 它 是 用 数学 家 托 普 利 兹 的 名 字 命 名 的 。 通 过 利用 托 普 利 兹 矩阵 的 性 质 , Levinson 导 
出 了 求解 矩阵 形式 维 纳 - 霍 夫 方程 的 极其 灵巧 的 递归 步骤 (Levinson，1947)。 在 1960 年 , Durbin 





中 ”关于 线性 估计 的 要 点 受到 下 列 评论 文章 的 影响 Sorenson( 1970) . Kailath( 1974) #11 Makhoul(1975) 。 
O 维 纳 - 霍 夫 方 程 ( 原 表示 为 积分 方程 ) 为 因果 约束 下 连续 线性 滤波 器 的 最 优 解 。 这 个 方程 很 难 解 , 因 此 导致 包括 谱 
分 解 在 内 的 大 景 理论 问题 的 研究 。 该 课题 的 综述 见 Gardner(1990) 的 论文 。 
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重新 发 现 了 Levinson 递归 步骤 ,并 将 其 作为 标量 时 间 序 列 数据 自 回归 模型 递归 拟 合 的 一 种 方 
案 。 由 Durbin 考虑 的 问题 是 式 (15) 的 一 个 特例 ,其 中 列 向 量 p 由 相关 和 矩阵 R 中 找到 的 相同 元 
RAM. FE 1963 4F, Whittle 证 明了 在 Levinson-Durbin( 列 文 森 - 杜 宾 ) 递 归公 式 与 Szegi 正 交 多 
项 式 之 间 存 在 着 密切 关系 ,而 且 导 出 了 Levinson-Durbin 递归 公式 的 多 变量 形式 。 

Wiener 和 Kolmogorov 假设 无 限 长 数据 ,并 且 假 设 随 机 过 程 是 非 平稳 的 。 在 20 世纪 50 年 
代 , Wiener- Kolmogorov 滤波 器 理论 已 由 许多 学 者 进行 了 一 些 推广 ,以 便 仅 对 有 限 观 测 间隔 的 平 
稳 过 程 进行 估计 ,而 且 包 含 了 非 平 稳 随 机 过 程 估 计 。 然 而 ,由 于 这 些 结果 太 复杂 ,很 难 随 观测 
间隔 的 增加 而 更 新 ,而且 很 难 修改 成 可 用 于 向 量 情况 ,因此 许多 研究 者 不 满意 这 个 时 期 大 多 数 
有 意义 的 结果 。 后 两 种 困难 在 20 世纪 50 年 代 后 期 确定 卫星 运行 轨道 的 情况 下 变 得 特别 明 
显 。 在 这 种 应 用 中 ,通常 存在 位 置 和 速度 的 某 些 组 合 构成 的 向 量 观测 ,而 且 随 跟踪 站 卫星 的 每 
个 通路 也 相继 累积 了 大 量 数据 。Swerling 是 最 早 提出 某 些 有 用 递归 算法 以 着 手 解决 这 个 问题 
的 人 (Swerling,1958)。 由 于 不 同 的 原因 ,卡尔 曼 (Kalman) 研 究 出 比 Swerling 算法 稍 多 一 点 约束 
的 算法 ,但 它 似乎 是 更 能 匹配 空间 时 代 所 带 来 的 动态 估计 问题 的 一 种 算法 (Kalman,1960)。 在 
卡尔 曼 发 表 这 篇 论文 并 日 获得 相当 高 的 名 声 之 后 , Swerling( 1963) 写 了 一 封 信 声 称 对 卡尔 曼 滤 
波 方程 具有 优先 权 。 然 而 , Swerling 的 诉求 没有 被 人 理 眼 。 令 人 啼笑 丝 非 的 是 ,轨道 确定 问题 
极 大 地 促进 了 高 斯 最 小 二 乘法 和 卡尔 曼 滤 波 器 的 研究 ,但 在 每 种 情况 下 都 存在 有 关 它 们 发 明 
者 的 争吵 。 卡 尔 曼 原来 的 线性 滤波 公式 已 被 用 于 离散 时 间 过 程 。 在 与 Bucy 的 一 系列 合作 中 ， 
卡尔 曼 提 出 了 连续 时 间 卡 尔 曼 滤波 器 ,因此 这 种 连续 时 间 滤 波 器 有 时 也 称 为 Kalman-Bucy 滤波 
器 (Kalman & Bucy, 1961). 

在 一 系列 令 人 兴奋 的 论文 中 , Kailath 利用 新 息 方法 重新 表示 了 线性 滤波 问题 的 解决 方案 
(Kailath ,1968 ,1970; Kailath & Frost, 1968; Kailath & Geesey, 1973)。 在 这 个 方法 中 ,随机 过 程 
um) 表示 为 一 个 由 白 噪 声 过 程 y(n ) 激 励 的 因果 和 因果 可 北 滤 波 器 的 输出 , 它 称 为 新 息 过 各 
(innovations process) ,其 中 术语 “innovation” 表 示 新 息 。 使 用 这 个 术语 的 原因 在 于 过 程 v(n) 的 每 
个 样 值 提供 了 全 新 的 信息 ,其 含义 是 它 统 计 独 立 于 原 过 程 u(n) 的 所 有 过 去 样 值 ,并 假设 其 
具有 高 斯 特性 ;否则 ,每 个 样 值 与 w(n) 的 所 有 过 去 样 值 不 相关 。 新 息 方法 的 思想 是 由 Kolmog- 
orov(1939) 引 人 的 。 


线性 自 适 应 滤波 器 
随机 梯度 算法 


最 早 的 自 适应 滤波 器 工作 可 以 追溯 到 20 世纪 50 年 代 末 期 ,在 这 个 时 期 大 量 的 研究 者 独 
立 工作 于 这 种 滤波 器 的 不 同 应 用 领域 。 依 赖 于 这 类 早期 工作 ,出 现 了 最 小 均 方 (LMS) 算 法 , 它 
成 为 实现 横向 滤波 器 的 一 种 简单 有 效 的 算法 。LMS 算法 是 Widrow 和 Hoff 在 1959 年 研究 自 适 
应 线性 (门限 逻辑 ) 元 素 的 模式 识别 方案 时 发 明 的 ,这 些 自 适应 线性 元 素 在 文献 中 通常 称 为 
Adaline( Widrow & Hoff, 1960; Widrow, 1970). LMS 算法 是 一 种 随机 梯度 算法 , 它 在 相对 于 抽 头 
权 值 的 误差 信号 平方 幅度 的 梯度 方向 上 迭代 调整 每 个 抽 头 权 值 。 因 此 ,LMS 算法 与 Robbins 和 
Monro(1951) 在 统计 学 中 求解 某 些 序列 参数 估计 问题 时 的 随机 逼近 概念 有 密切 的 关系 。 它 们 
之 间 的 主要 差异 在 于 :LMS 算法 采用 固定 的 步 长 参数 控制 从 一 次 迭代 到 另 一 次 迭代 的 每 个 抽 
头 权 值 的 修正 ;而 在 随机 逼近 方法 中 , 步 长 参数 与 时 间 nn 或 n 的 考 次 成 正比 。 另 外 一 种 与 
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LMS 算法 紧密 相关 的 随机 梯度 算法 是 梯度 自 适应 格 型 (GAL) 算 法 (Griffiths，1977，1978) 。 它 
们 之 间 的 差异 是 结构 上 的 差异 ,GLA 算法 以 格 型 结构 为 基础 ,而 LMS 算法 使 用 横向 滤波 器 。 

在 1981 年 ,Zames 引入 了 #8” 范 数 作为 求解 估计 和 控制 问题 性 能 的 鲁 棒 指标 ,而 且 利 用 
它 , 鲁 棒 控 制 成 为 新 的 研究 方向 。 在 这 个 范畴 特别 值得 指出 的 是 , Hassibi 等 证 明了 LMS 算法 
在 8H" 准则 下 的 确 是 最 优 的 (Hassibi et al. ，1996)。 于 是 ,LMS 算法 和 鲁 棒 性 能 的 理论 证 明 首次 
被 介绍 。 人 们 还 感 兴趣 地 注意 到 ,代替 通信 信道 自 适应 均衡 中 LMS 算法 的 迫 零 算法 ,也 使 用 
了 极 大 - 极 小 (minimax) 形 式 的 最 优 淮 则 (Lucky, 1965)。 


递归 最 小 二 乘 算法 


在 转向 递归 最 小 二 乘 (RLS) 族 自 适 应 滤波 算法 时 ,我 们 发 现 标准 的 RLS 算法 似乎 就 是 
Plackett 算法 (1950) ,尽管 人 们 可 能 会 说 其 他 许多 研究 者 也 推导 或 重新 推导 了 各 种 形式 的 RLS 
算法 。1974 年 ,Godard 应 用 卡尔 曼 滤波 器 理论 导出 了 一 种 变型 算法 ,文献 中 有 时 称 之 为 Godard 
算法 。 此 前 ,若干 研究 者 已 经 把 卡尔 曼 滤波 器 理论 应 用 于 解决 自 适 应 滤波 问题 ,但 在 20 年 间 ， 
Godard 算法 一 直 被 广泛 认为 是 卡尔 曼 滤 波 器 理论 最 成 功 的 一 项 应 用 。 后 来 ,Sayed 和 Kailath 发 
表 了 一 篇 述评 文章 ,首次 确立 了 RIS 算法 与 卡尔 曼 滤 波 器 理论 之 间 的 精确 关系 , 它 为 如 何 利 
用 大 量 卡尔 曼 滤 波 器 文献 解决 线性 自 适 应 滤波 问题 奠定 了 基础 。 

1981 年 ,Gentleman 和 Kung 引信 一 种 基于 和 拖 阵 代数 中 QR 分 解 的 数值 鲁 棒 的 方法 来 求解 
RLS 问题 。 得 到 的 自 适应 滤波 器 结构 [有 时 称 为 Gentleman 和 Kung 脉动 (systolic) 阵 列 ] 接 着 被 
许多 其 他 研究 者 重新 提炼 ,并 以 各 种 方法 加 以 推广 。 

在 20 世纪 70 年 代 及 接 下 来 的 日 子 里 ,人 们 耗费 大 量 精力 努力 开发 研究 数值 稳定 的 快速 
RLS 算法 ,其 目的 是 把 RLS 算 法 的 计算 复杂 性 降低 到 可 与 LMS 算法 相 比 较 的 水 平 。RLS 算法 
的 研究 可 追溯 到 1974 Æ Morf 求解 随机 滤波 问题 (对 于 平稳 输入 ,该 问题 可 利用 Levinson-Durbin 
算法 有 效 地 获得 解决 ) 的 确定 性 对 应 物 时 所 导出 的 结果 。 

Sayed 和 Kailath(1994) 的 论文 揭示 了 RLS 算法 与 卡尔 曼 滤 波 器 理论 之 间 的 一 一 对 应 关系 ， 
证 明了 基于 QR 分 解 的 RLS 算法 和 快速 RLS 算法 事实 上 都 是 卡尔 曼 滤 波 器 的 特例 ,从 而 以 一 
种 相当 灵巧 和 紧凑 的 方式 提供 了 RLS 族 线性 自 适 应 滤波 器 的 一 种 统一 性 论述 。 

传统 上 ,单位 延迟 用 来 构造 以 横向 滤波 器 结构 为 基础 的 各 种 线性 自 适应 滤波 器 。 另 外 ,我 
们 还 可 以 使 用 横向 Laguerre 结构 ( 见 图 9)。Merched 和 Sayed(2000,2001) 介 绍 了 阶 递归 RLS- 
Laguerre 滤波 器 的 设计 方法 。 这 些 滤 波 器 与 传统 的 精确 最 小 二 乘 格 型 滤波 器 之 间 的 不 同 之 处 
在 于 ,数据 阵 的 相继 列 不 是 相互 时 间 移 位 型 。 


自 适应 信号 处 理应 用 
自 适应 均衡 


直到 20 世纪 60 年 代 初 期 ,能 消除 符号 间 干 扰 对 数据 传输 恶化 影响 的 电话 信道 均衡 由 固定 
均衡 器 (引起 性 能 丢失 ) 或 人 工 调整 参数 的 均衡 器 (步骤 相当 麻烦 ) 来 完成 。1965 年 , Lucky 在 
均衡 问题 方面 取得 了 突破 性 的 进展 ,他 提出 人 迫 零 算法 并 用 来 自动 调整 横向 均衡 器 的 抽 头 加 权 
系数 。Lucky 工作 的 显著 特征 是 使 用 极 大 - 极 小 型 性 能 准则 。 特 别 地 ,他 使 用 称 为 峰值 失真 的 
性 能 指标 ,该 失真 直接 与 所 发 生 的 最 大 符号 间 干 扰 CSI, intersymbol interference) 有 关 。 它 对 横 
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向 均衡 器 内 的 邻近 脉冲 所 引起 的 符号 间 干 扰 具 有 强迫 为 零 的 作用 ,从 而 得 名 为 迫 零 算法 。 最 
优 迫 零 算法 的 充分 条 件 ( 不 是 必要 条 件 ) 是 其 初始 失真 (存在 于 均衡 器 输入 端的 失真 ) 小 于 1。 
1965 年 ,DiToro 独立 地 把 自 适应 均衡 器 应 用 于 对 抗 符号 间 于 扰 对 高 频 链 路 数据 传输 的 影响 。 

Lucky 的 开创 性 工作 以 这 样 或 那样 的 方式 受到 自 适 应 均衡 问题 其 他 各 方面 重要 贡献 的 鼓 
舞 和 激励 。Gersho(1969) 以 及 Proakis 和 Miller(1969) 使 用 最 小 均 方 误差 准则 ,独立 地 重新 描述 
了 自 适 应 均衡 问题 。1972 年 ,Ungerboeck 使 用 LMS 算法 对 自 适 应 横向 均衡 器 的 收敛 性 进行 了 
详细 数学 分 析 。 如 前 所 述 ,Godard 于 1974 年 应 用 卡尔 曼 滤 波 器 理论 导出 了 调整 横向 均衡 器 抽 
头 加 权 系 数 的 一 种 高 效 算 法 。1978 年 , Falconer 和 Ljung 介绍 了 该 算法 的 一 种 修正 ,从 而 将 其 
计算 复杂 性 简化 到 可 与 简单 的 LMS 算法 比较 的 程度 。Satorius 和 Alexander(1979) 以 及 Satorius 
和 Pack(1981) 证 明了 色散 信道 格 型 自 适应 均衡 算法 的 实用 性 。 

前 面 的 历史 回顾 主要 包括 线性 同步 接收 机 中 自 适应 均衡 器 应 用 ,其 中 “同步 ”一 词 意味 着 
该 接收 机 中 均衡 器 的 抽 头 间隔 等 于 符号 率 的 倒数 。 尽 管 我 们 对 自 适 应 均衡 器 的 兴趣 都 集中 于 
上 述 这 类 均衡 器 上 ,但 如 果 不 提 及 分 数 间隔 均衡 器 和 判决 反馈 均衡 器 ,这 样 的 历史 回顾 将 是 不 
完整 的 。 

在 分 数 间隔 均衡 器 (FSE, fractionally spaced equalizer) 中 , 均衡 器 抽 头 间隔 严格 地 大 于 符号 
率 的 倒数 。FSE 比 传统 的 同步 均衡 器 具有 强 得 多 的 有 效 补偿 延迟 失真 的 能 力 。FSE 的 另 一 优 
点 是 数据 传输 可 从 任 一 取样 阶段 开始 。 然 而 ,FSE 的 数学 分 析 比 传统 的 同步 均衡 器 要 复杂 得 
多 。FSE 的 早期 工作 可 认为 开始 于 Brady(1970) 的 著作 。 有 关 该 课题 的 其 他 文献 还 包括 Unger- 
boeck(1976) 及 Gitlin 和 Weinstein(1981) 后 来 的 著作 。 在 20 世纪 90 年 代 初 期 ,人 们 把 更 多 的 目 
光 投 向 分 数 均衡 器 的 效益 , 即 研究 如 何 仅 仅 使 用 二 阶 统计 量 就 能 将 分 数 均衡 器 用 于 信道 育 均 
衡 上 。 此 前 ,一般 的 常识 是 只 有 最 小 相位 信道 能 够 以 这 种 方式 辨识 或 均衡 ,因为 二 阶 统计 量 并 
不 关注 信道 输出 的 相位 信息 (实际 上 ,二 阶 统 计量 中 不 含有 信道 输出 的 相位 信息 )。 然 而 ,这 个 
结论 仅仅 对 平稳 二 阶 统计 量 成 立 。 用 于 分 数 间隔 均衡 器 的 过 抽样 表明 ,二 阶 统计 量 是 循环 平 
稳 的 , 它 把 一 个 新 的 维 数 ( 即 周期 ) 增 加 到 信道 输出 的 描述 中 (Franks, 1969; Gardner & Franks, 
1975; Gardner, 1994a, k), Tong 及 其 合作 者 (1993，i9e4a,b) 示 出 如 何在 弱 运 行 条 件 下 把 循环 
平稳 性 有 效 地 用 于 盲 均 衡 。 他 们 的 论文 极 大 地 推动 了 该 领域 的 研究 活动 ,包括 各 种 推广 .重新 
改进 以 及 相继 出 现 的 许多 变种 :例如 Tong 和 Perreau 的 综述 性 论文 (Tong & Pereau，1998 ) 。 

判决 反馈 均衡 器 包括 前 馈 部 分 和 反馈 部 分 。 前 馈 部 分 由 其 抽 头 具有 符号 率 间 隔 的 横向 滤 
波 融 组 成 。 待 均衡 的 数据 序列 被 用 做 这 部 分 的 输入 。 反 馈 部 分 由 其 抽 头 也 具有 符号 率 间 隔 的 
另 一 横向 滤波 器 组 成 。 加 到 反馈 部 分 的 输入 按 前 面 检测 的 符号 做 判决 。 前 馈 部 分 的 作用 是 减 
去 来 自 未 来 符号 估计 的 前 面 检测 符号 所 产生 的 符号 间 干 扰 。 这 种 方法 ,通常 称 为 自 举 技术 
(bootstrap technique) 。 在 出 现 严重 符号 间 干 扰 时 (例如 ,无 线 套 落 信道 所 经 受 的 那 种 干扰 ) , 判 
决 反馈 均衡 器 可 获得 良好 的 性 能 。Austin(1967) 最 先 报道 了 判决 反馈 均衡 器 ,而 Monsen(1971) 
第 一 个 完成 了 最 小 均 方 误差 分 析 中 判决 反馈 接收 机 的 优化 。 
语音 编码 ee 

1966 年 Itakura 和 Saito 把 最 大 似 然 法 (maximum-likelihood approach) 用 于 语音 预测 代 $ i 
似 然 原 理应 用 中 ,一 般 假设 输入 过 程 是 高 斯 过 程 。 在 这 个 条 件 下 ,该 原理 的 正确 应 用 将 得 一 ， 
个 关于 预测 器 系数 的 非 线性 方程 组 。 为 了 克服 这 个 困难 , Itakura 和 Saito 利用 了 那些 具有 可 条) 
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数据 点 数 大 大 超过 预测 阶 数 的 逼近 。 该 假设 的 使 用 使 得 由 最 大 似 然 原理 获得 的 结果 与 线性 预 
测 自 相关 法 的 近似 形式 相同 。 最 大 似 然 原理 的 应 用 证 实 了 关于 语音 信号 是 平稳 高 斯 过 程 的 假 
设 是 正确 的 ,尤其 在 清音 情况 下 这 种 假设 看 来 是 可 行 的 。 

1970 年 ,Alta 介绍 了 线性 预测 在 语音 分 析 中 的 首次 应 用 。 这 个 语音 分 析 和 合成 的 新 方法 是 
1971 年 由 Atal 和 Hanauer 发 表 的 。 这 个 新 方法 叫做 线性 预测 编码 (LPC,linear predictive coding). 
在 LPC 中 ,按照 与 声 道 转移 函数 和 所 提取 特征 有 关 的 时 变 参 数 直接 表示 语音 波形 。 人 们 通过 
使 均 方 误差 (定义 为 语音 样 值 的 实际 值 与 其 预测 值 之 差 ) 最 小 化 确定 预测 器 系数 。 在 Atal 和 
Hanauer 的 工作 中 ,语音 以 10 kHz 速率 采样 ,然后 预测 当前 语音 样 值 作为 前 面 12 个 样 值 的 线性 
AS ,并 进行 语音 分 析 。 于 是 ,15 个 参数 [12 个 预测 参数 . 基 音 周期 .表示 语音 是 浊音 还 是 清音 
的 二 进 制 参数 .语音 样 值 的 平方 根 (mms,root-mean-square) 值 ]。 对 于 语音 合成 ,使 用 全 极点 滤波 
器 ,并 带 有 提供 激励 用 准 周期 脉冲 序列 或 白 噪 声 源 。 

语音 线性 预测 的 另 一 个 重要 贡献 是 由 ltakura 和 Saito 在 1972 年 做 出 的 ,他 们 使 用 偏 相关 
技术 研究 出 一 种 新 的 结构 一 一 格 型 结构 ,并 用 它 表示 线性 预测 问题 0。 这 个 用 来 表征 格 型 预 
测 器 的 参数 叫做 反射 系数 。 尽 管 到 1972 年 若干 其 他 研究 者 已 经 考虑 格 型 结构 的 要 素 ,但 格 型 
结构 的 发 明 仍然 应 该 归功 于 Itakura 和 Saito。1973 年 ,Wakita 证 明了 格 型 预测 器 模型 的 滤波 作 
用 和 语音 的 声 道 模 型 是 相同 的 ,二 者 均 以 声 道 模 型 中 的 反射 系数 作为 共 辣 因子 。 这 一 发 现 使 
得 有 可 能 利用 格 型 预测 器 提取 反射 系数 。 

语音 信号 线性 预测 模型 的 局 限 性 在 于 不 能 恢复 离散 频谱 样 值 的 修正 包 络 ,而 且 这 个 局 限 
性 可 追溯 到 选择 最 小 均 方 误差 作为 线性 预测 建 模 的 准则 。 为 了 缓解 这 个 问题 , Itakura 和 Saito 
(1970) 研 究 开 发 了 浊音 谱 包 络 佑 计 的 最 大 似 然 方法 ;在 这 个 工作 中 ,他 们 引入 一 个 称 为 Itaku- 
ra-Saito 距离 测度 的 新 准则 。 这 项 研究 还 伴随 以 McAulay (1984) 及 El-Jaroudi 和 Makhoul(1991 ) 
所 做 出 的 进一步 贡献 。 

格 型 预测 器 的 早期 工作 以 块 处 理 方法 (Burg，1967) 为 基础 。1981 年 , Makhoul 和 Cossell 用 
自 适 应 方法 设计 用 于 语音 分 析 与 合成 的 格 型 预测 器 。 他 们 证 明了 在 其 性 能 与 最 佳 ( 但 更 昂贵 ) 
自 适应 自 相 关 方 法 相同 的 情况 下 , 自 适 应 格 型 预测 器 的 收敛 仍然 足够 快 。 

直到 现在 ,我 们 所 介绍 的 语音 编码 一 直 与 LPC 声 码 器 有 关 。 下 面 ,我 们 将 从 原始 的 脉 码 
调制 (PCM, pulse-code modulation) 出 发 ,给 出 语音 自 适应 预测 编码 的 历史 回顾 。 

PCM 是 Reeves 在 1937 年 发 明 的 。 后 来 Cutler(1952) 发 明了 差分 脉 码 调制 (DPCM , differen- 
tial pulse-code modulation) 。 语 音信 号 自 适 应 编码 中 早期 使 用 的 DPCM 仅 限 于 固定 参数 的 线性 
预测 器 (MeDonald，1966)。 然 而 ,因为 语音 信和 号 的 非 平 稳 特 性 ,固定 预测 器 不 能 在 所 有 时 间 
内 都 能 有 效 地 预测 信号 值 。 为 了 响应 语音 信号 的 非 平稳 特性 ,预测 器 必须 是 自 适应 的 。 在 
1970 年 , Atal 和 Schroeder 阐述 了 一 种 实现 语音 自 适 应 预测 编码 的 高 级 方案 。 该 方案 认为 ,在 
语音 中 存在 宛 余 度 有 两 个 主要 原因 (Schroeder，1966) :(1) 浊 音 块 的 准 周期 性 ;(2) 短 时 谱 包 络 
的 不 平坦 性 。 于 是 ,为 了 去 除 信 号 宛 余 度 ,预测 器 设计 成 两 级 :首先 去 除 信 和 号 的 准 周期 性 ;其 次 
从 谱 包 络 中 移 走 共振 峰 。 该 方案 惊人 地 降低 了 比特 率 ,但 以 大 量 增加 电路 复杂 性 为 代价 。 
Atal 和 Schroeder(1970) 报 道 ,该 方案 能 以 10 kb/s 的 速率 传送 语音 。 它 比 对 数 PCM 编码 所 要 求 
的 比特 率 低 好 几 倍 ,并 具有 可 比 的 语音 质量 。 











@ 根据 Markel 和 Gray(1976) ,日 本 的 Itakura 和 Saito 于 1969 年 介绍 了 线性 预测 PARCOR 公式 的 工作 。 





谱 分 析 


19 HEEK , Schuster 引入 时 间 序 列 功 率 谱 分 析 的 周期 图 法 (Schuster, 1898)。 周 期 图 定义 为 
序列 离散 健 里 叶 变 换 的 幅度 平方 。 周 期 图 原来 由 Schuster 应 用 于 检测 和 估计 含有 噪声 的 已 知 
RETIRE. HA 1927 年 Yule 完成 他 的 工作 之 前 ,周期 图 法 是 可 用 于 谱 分 析 的 惟一 
数值 方法 。 然 而 , 当 周 期 图 法 用 于 自然 界 中 观测 到 的 高 度 不 稳定 时 间 序 列 时 ,该 方法 受到 很 大 
限制 。 这 一 限制 导致 Yule 在 他 的 有 关 Wolfer 太阳 黑子 数 时 间 序 列 周期 研究 中 ,引入 基于 平稳 
随机 过 程 有 限 参 数 模型 概念 的 新 方法 (Yule,1927)。 事 实 上 , Yule 创造 性 地 提出 随机 反馈 模型 ， 
在 该 模型 中 时 间 序 列 的 当前 样 值 假设 由 过 去 样 值 的 线性 组 合 加 上 误差 项 组 成 。 这 个 模型 叫做 自 
回归 (AR) 模 型 (autoregressive model) ,在 该 模型 中 时 间 序 列 的 某 一 样 值 按 其 自身 过 去 值 回归 而 成 ， 
因此 基于 这 一 模型 的 谱 分 析 方 法 叫做 自 回归 谱 分 析 (autoregressive spectrum analysis). “A EIA” 
(AR) 这 个 名 字 是 由 Wold 在 他 的 博士 论文 中 创造 的 (Wold,1938)。 

Burg 的 研究 工作 重新 燃 起 人 们 对 自 回归 方法 的 研究 兴趣 (Berg，1967，1975), 他 引入 术语 
“$5 KG 77 YE (maximum-entropy method)” , 并 用 它 来 描述 直接 从 得 到 的 时 间 序 列 估计 功率 谱 的 
方法 。 最 大 灶 方 法 的 基本 思想 是 以 外 推 的 方法 推出 序列 的 自 相 关 函 数 ,该 方法 在 外 推 的 每 一 
步 都 使 相应 的 概率 密度 函数 最 大 化 。1971 年 ,Van den Bos 证 明了 最 大 焙 方 法 等 效 于 自 回归 模 
型 对 已 知 自 相 关 序 列 的 最 小 二 乘 拟 合 。 

谱 分 析 的 另 一 个 重要 贡献 是 由 Thomson(1982) 做 出 的 。 他 的 基于 长 椭 球 面 波 了 消 数 的 多 窗 
口 法 是 一 种 非 参数 谱 估 计 法 ,该 方法 克服 了 前 面 所 述 技术 的 许多 限制 。 


自 适应 噪声 消除 


自 适应 回音 消除 器 的 最 初 工 作 大 约 始 于 1965 年 。 就 语音 信号 自身 用 于 完成 自 适 应 而 言 ， 
贝尔 电话 实验 室 的 Kelly 第 一 个 提出 把 自 适应 滤波 器 用 于 回音 消除 。Kelly 的 贡献 为 Sondhi 
(1967) 的 论文 所 认同 。 该 发 明 及 其 改进 体现 在 Kelly 和 Logan(1970) 和 Sondhi(1967) 的 专利 中 。 

由 Widow 及 其 斯 坦 福 大 学 的 合作 者 发 明了 自 适应 谱 线 增强 器 (adptive line enhancer)。 该 
装置 的 初 型 构建 于 1965 年 ,用 来 消除 心电图 放大 器 和 译 码 器 输出 端的 60 Hz 干扰 。Widrow 等 
(1975b) 在 其 论文 中 介绍 了 这 项 工作 。 自 适应 谱 线 增强 器 及 其 用 做 自 适 应 检测 器 等 内 容 在 
McCool 等 的 专利 中 做 了 介绍 。 

尽管 自 适 应 回音 消除 器 和 自 适应 谱 线 增强 器 作为 不 同 的 应 用 ,但 均 可 看 做 Widrow 等 
(1975b) 所 述 自 适 应 噪声 消除 器 的 应 用 实例 。 这 个 方案 运行 在 两 个 传感器 (提供 感 兴趣 含 噪 期 
望 信号 的 基本 传感器 和 只 提供 噪声 的 参考 传感器 ) 的 输出 端 。 假 设 :(1) 基 本 传感器 输出 的 信 
号 与 噪声 不 相关 ;(2) 参 考 传感器 输出 端的 噪声 与 基本 传感器 输出 端的 噪声 分 量 相关 。 

自 适应 噪声 消除 器 由 运行 在 参考 传感器 输出 端的 自 适应 滤波 器 组 成 。 这 个 自 适应 滤波 器 
用 来 估计 噪声 ,然后 从 基本 传感器 输出 中 减 去 该 品 声 估 值 。 消 除 器 的 总 输出 用 来 控制 自 适应 
滤波 器 中 抽 头 加 权 系 数 的 调整 。 自 适应 消除 器 使 总 输出 的 均 方 值 趋 于 最 小 ,从 而 产生 最 小 均 
方 误差 意义 下 期 望 信号 最 好 估计 的 输出 。 


自 适 应 波束 形成 


应 波束 形成 的 研究 可 追溯 到 20 世纪 50 年 代 后 期 Howells 发 明 中 频 (IF, intermediate 
多 除 器 (sidelobe canceller) 。 在 IEEE 天 线 与 广播 汇 刊 ( 正 EE Transactions on Anten- 
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nas and Propagation)1976 年 专辑 发 表 的 一 篇 论文 中 , Howells 介绍 了 他 对 通用 电气 公司 和 Syra- 
cue 大 学 研究 公司 自 适应 天 线 早期 工作 的 个 人 意见 和 评论 。 根 据 这 份 历史 性 报告 ,Howells 早 
在 1957 年 就 已 经 开发 出 能 够 自动 使 人 为 干扰 影响 降 为 零 的 旁 鸭 消除 器 。 该 旁 辩 消除 器 使 用 
. 一 个 基本 (高 增益 ) 天 线 和 一 个 非 定向 参考 ( 低 增益 ) 天 线 , 并 由 此 组 成 具有 一 个 自由 度 的 双 天 
线 阵 ,该 天 线 阵 能 够 在 组 合 天 线 模式 旁 办 区 域内 的 任何 地 方 控制 极端 微弱 的 信号 。 特 别 地 ,一 
个 微弱 信号 被 放 在 人 为 干扰 方向 上 ,有 旦 仅 有 主因 的 某 一 微小 扰动 。 其 后 ,Howells(1965) 获 得 旁 
MHA Rat eA 

自 适应 天 线 阵 的 第 二 个 主要 贡献 是 由 Applebaum 在 1966 年 做 出 的 。 在 一 份 权威 报告 中 ， 
他 推导 了 带 有 各 种 环 路 作为 阵 元 的 管理 自 适应 天 线 阵 运行 的 控制 定律 (Applebaum，1966) 。 由 
Applebaum 导出 的 算法 以 任意 噪声 环境 下 使 天 线 阵 输出 信 噪 比 (SNR, signal-to-noise ratio) 最 大 
化 为 基础 。Applebaum 的 理论 包括 旁 瓣 消除 器 作为 一 个 特例 。 他 的 1966 年 有 名 的 报告 在 IEEE 
天 线 与 广播 汇 刊 1976 年 的 专辑 中 重印 。 

自 适应 阵列 天 线 中 加 权 调 整 的 另 一 个 算法 是 Widow 与 其 斯 坦 福 大 学 合作 者 在 1967 年 独 
立 提 出 的 。 他 们 将 其 理论 建立 在 简单 而 有 效 的 LMS 算法 的 基础 上 。Widrow 等 1967 年 的 论文 
不 仅 是 有 关 自 适应 阵列 天 线 公 开发 表 的 文献 中 的 首 篇 出 版 物 ,而 且 也 被 认为 是 该 领域 的 另 一 
经 典 之 作 。 

值得 一 提 的 是 , 自 适应 阵列 天 线 的 最 大 SNR 算法 (被 Applebaum 采用 ) 与 LMS 算法 (被 Widrow 
及 其 合作 者 使 用 ) 是 相当 类 似 的 。 二 者 都 通过 自动 检测 天 线 阵 元 信号 之 间 的 自 相 关 推 导出 阵列 
天 线 中 权 值 自 适应 调整 的 控制 定律 。 对 于 平稳 输入 ,它们 都 收敛 于 最 佳 维 纳 解 (Gabriel, 1976)。 

Capon(1969) 提 出 了 求解 自 适 应 波束 形成 问题 的 各 种 方法 ,他 认为 延迟 和 (delay-and-sum) 
波束 形成 器 性 能 差 是 由 于 它 沿 感 兴趣 方向 的 响应 不 仅 取决 于 人 射 上 月 标 信和 号 的 功率 , 而且 取 决 
于 从 其 他 干扰 源 接 收 到 的 不 想 要 的 成 分 。 为 了 克服 这 种 限制 ,Capon 提出 一 种 新 的 波束 形成 
器 , 它 对 所 有 n, 通 过 选择 权 向 量 w(n), 使 得 在 w" (n)8(0) = 1 约束 条 件 下 输出 方差 ( 即 平均 
功率 ) 最 小 ,其 中 s(9) 是 转向 向 量 。 该 约束 极 小 化 得 到 一 个 具有 最 小 方差 无 失真 响应 (MVDR,， 
minimum-variance distortionless response) 的 自 适 应 波束 形成 器 。 

1983 年 , McWhirter 提出 用 于 最 小 二 乘 估 计 的 一 种 简化 形式 的 Gentleman-Kung( 脉 动 ) 阵 列 。 
由 此 得 到 的 滤波 结构 称 为 MceWhirter( 脉 动 ) 阵 列 , 它 特别 适合 于 自 适应 波束 形成 应 用 。 

在 这 个 导 引 性 章节 中 ,我 们 并 不 试图 对 自 适应 滤波 器 原理 及 应 用 做 出 全 面 完整 的 历史 回 
顾 。 相 反 , 我 们 力图 将 注意 力 集中 于 那些 对 日 益 扩 大 的 自 适应 信号 处 理 领域 的 重要 部 分 做 出 
重要 贡献 的 方面 。 最 重要 的 是 ,我 们 希望 这 样 做 能 够 对 读者 有 所 激励 和 启迪 。 





第 1 章 ”随机 过 程 与 模型 


随机 过 程 (stochastic process 或 random process) 这 个 术语 用 来 描述 按照 概率 规律 随时 间 变 化 
的 统计 现象 的 时 间 演 变 。 该 现象 的 时 间 演 变 意 味 着 随机 过 程 是 定义 在 某 些 观测 间隔 上 的 时 间 
函数 。 该 现象 的 统计 特性 表明 ,在 进行 一 次 实验 之 前 是 不 可 能 精确 定义 其 时 间 上 演变 方式 的 。 
随机 过 程 的 例子 包括 语音 信和 号、 电视 信 和 号、 雷达 信号、 数字 计算 机 数据 、 通 信 信 和 道 的 输出 、 地 震 
学 数据 和 噪声 。 

我 们 感 兴趣 的 一 种 随机 过 程 是 在 离散 时 间 均 匀 间 隔 抽 样 下 定义 的 (Box & Jenkins, 1976; 
Priestley,1981)。 在 实践 中 自然 会 提出 这 样 一 个 限制 条 件 , 比如 雷达 信号 或 数字 计算 机 数据 。 
相反 地 ,随机 过 程 也 可 以 对 连续 范围 实数 时 间 值 定义 ,但 在 处 理 前 , 它 要 经 过 均匀 抽样 ,而 且 要 
选择 抽样 率 大 于 该 过 程 最 高 频率 分 量 的 二 倍 以 上 。 

随机 过 程 并 不 只 是 时 间 的 函数 。 实 际 上 ,在 理论 上 它 表 示 了 该 过 程 的 无 限 多 个 不 同 实现 ， 
其 中 离散 时 间 随 机 过 程 的 一 个 特殊 实现 称 为 时 间 序 列 。 例 如 ,序列 z(m),z(m-1),…， 
u(n- M) 表 示 这 样 一 个 时 间 序 列 , 它 包含 时 刻 n 所 得 的 当前 观测 值 w(n) 和 在 时 刻 n -1， 
n -2,…,n 一 M 所 得 的 屠 个 过 去 观测 值 。 

如 果 随 机 过 程 的 性 质 不 随 着 时 间 变 化 而 变化 , 则 称 该 过 程 严 格 平稳 。 具 体 地 ,如 果 时 间 序 
列 zzn),uz(n-1)，u(z- M) 表示 的 离散 时 间 随 机 过 程 是 严格 平稳 的 , 则 M 一 定时 ,无论 
对 n WRT ATA, YZ n,n -1,n-2,--,n-M 表示 的 随机 变量 的 联合 概率 密度 都 必须 保持 
不 变 。 


1.1 离散 时 间 随 机 过 程 的 部 分 特性 


在 实际 中 ,我 们 经 常 发 现 不 可 能 确定 随机 过 程 的 任 一 观测 值 集合 的 联合 概率 密度 。 因 此 ， 
必须 用 其 第 一 和 第 二 时 刻 规定 的 过 程 部 分 特性 来 自我 满足 。 

考虑 由 时 间 序 列 uw(n) ,wu(n -1),…,wu(n - M) (该 序列 可 以 是 复数 值 序列 ) 表 示 的 离散 
时 间 随 机 过 程 。 为 简化 术语 0, 我 们 用 w(n) 来 表示 这 样 一 个 过 程 ;而 且 该 简化 术语 贯穿 全 书 。 
该 过 程 的 均值 函数 定义 为 





u(n) = Elu(n)] (1.1) 
其 中 E 表示 统计 期 望 运算 符 。 定 义 过 程 的 自 相 关 函 数 为 
r(n,n — k) = Elu(n)u*(n — k)] k = 0,+1,+2,... (1.2) 
其 中 星 号 ( x ARAA. ERN A ARREA 
c(n,n — k) = E[(u(n) — p(n))(u(n — k) — u(n — k))*] k =0,41,42,.... (1.3) 





D 严格 来 说 ,我 们 应 该 使 用 大 写 符号 一 一 U(n) 表 示 一 个 离散 时 间 随 机 过 程 ,其 相应 的 小 写 符号 w(n) 表 示 过 程 的 样 
本 。 我 们 并 未 这 样 做 的 目的 是 为 了 简化 说 明 。 
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由 式 (1.1) 到 式 (1.3) 可 见 , 过 程 的 均值 . 自 相 关 和 自 协 方差 函数 之 间 的 关系 如 下 
c(n,n — k) = r(n,n — k) — p(n)u*(n — k) (1.4) 

对 于 随机 过 程 的 局 部 (二 阶 ) 特 性 ,有 必要 对 n, k(n, k IERO MWA ERÉ, AEA F K 
数 :(1) 均 值 函 数 w(z);(2) 自 相关 函数 r(n,n 一 上 ) 或 自 协 方差 函数 c(n,n-k). HER, MAT 
有 nn, 当 均值 y(n) 都 为 零 时 , 自 相 关 和 自 协 方差 函数 具有 相同 值 。 

这 种 形式 的 局 部 特性 有 两 个 重要 优点 : 

1) 适合 于 实际 测量 。 

2) 适合 于 随机 过 程 线 性 运算 。 

对 于 一 个 严格 平稳 的 离散 时 间 随 机 过 程 , 式 (1.1) 到 式 (1.3) 定 义 的 所 有 三 个 量 都 假设 为 
简化 形式 。 具 体 来 说 ,我 们 发 现 过 程 的 均值 函数 是 一 个 常数 wx 假定) ,因此 可 以 写成 


w(n)=p 对 所 有 (1.5) 
我 们 还 发 现 , 自 相关 和 自 协 方差 函数 只 依赖 于 观测 时 刻 n Mn- k 22k, B 
r(n,n — k) = r(k) (1.6) 
和 
c(n,n — k) = c(k) (1.7) 


当 =0 时 ,对 应 于 零 时 间 差 或 零 延迟 ,r(0) 等 于 x(z) 的 均 方 值 
r(0) = Bllu(n)?] (1.8) 

同样 ,c(0) 等 于 wu(n) 的 方差 
c(0) = @ (1.9) 
式 (1.5) 到 式 (1.7) 并 不 足以 保证 离散 时 间 随 机 过 程 是 严格 平稳 的 。 而 具有 上 述 条 件 的 离散 时 


间 随 机 过 程 称 为 广义 平稳 或 二 阶 平稳 的 。 严 格 平稳 过 程 | wu(n)i 或 其 简写 uw(n) 是 广义 平稳 
的 , 当 且 仅 当 (Doob，1953 ) 


Ellu(n)|?]< 0 对 所 有 
在 物理 科学 和 工程 中 过 到 的 随机 过 程 普遍 满足 这 个 条 件 。 


12 平均 各 态 历经 定理 


随机 过 程 的 期 望 ,或 其 集 平均 ,是 “ 跨 过 程 (across the process)” 的 平均 。 显 然 , 可 以 定义 长 
期 样本 平均 ,或 长 过 程 的 时 间 平 均 。 实 际 上 ,通过 估计 模型 的 未 知 参数 ,时 间 平 均 可 用 来 建立 
物理 过 程 的 随机 模型 。 然 而 ,对 于 这 样 一 种 严格 的 方法 ,必须 证 明 在 统计 意义 上 时 间 平 均 收 全 
于 对 应 的 集 平均 。 均 方 误 差 准则 是 一 种 流行 的 收敛 判别 准则 。 

有 鉴于 此 ,考虑 广义 平稳 的 离散 时 间 随 机 过 程 a(n)。 设 常数 p 表示 过 程 的 均值 ,c(%) 表 
示 其 自 协 方差 函数 (为 自 变 量 )。 为 估计 均值 wK, 可 以 使 用 时 间 平 均 


AN) y 


其 中 ON 为 估计 中 使 用 的 样本 总 数 。 注 意 ,A(N) 为 一 个 具有 均值 和 方差 的 随机 变量 。 特 别 地 ， 


u(n) (1.10) 
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从 式 (1.10) 容 易 发 现 , A(N) 的 均值 (期 望 ) 为 
EL[L(N)]=p 对 所 有 NN (1.11) 
式 (1.11) 表 明 , 时 间 平 均 p(N) 是 过 程 集 平均 (均值 ) 的 无 偏 (unbiased) 估 计 髓 。 
再 则 , 当 样 本 N 趋向 于 无 穷 大 时 , 集 平均 x 与 时 间 平 均 A(N) 之 差 的 均 方 值 趋向 于 零 。 这 
时 ,就 说 过 程 uw(n) 在 均 方 误差 意义 上 是 平均 各 态 历经 的 (mean ergodic). Bil 
Jim [一 AN) 门 = 


利用 时 间 和 平均 公式 (1.10) ,我 们 有 











N- 2 
Elln - &(N)P] = E| |u - T Sun) | 
-去 | Dun n) — p) | 
1 N-1N-1 x 
= l A=0 PA) WK) = u) | 
N-1N-1 
- wi E[(u(n) — w)(u(k) - 2)" 
n=0 k=0 
1 N-1N-1 


v D ee c(n — k) 


H l=n- k, WTHRO. 12) PARRI S EA 
n 2 1 N-1 B ii 
Elu - RNP] =D (1 - Fee 
故 可 得 出 ,过 程 u(n) 在 均 方 误差 意义 上 为 平均 各 态 历 经 的 充分 必要 条 件 为 


im + S (1 一 Tet =0 (1.13) 


li 
N>% Ni 人 1 N 


换 名 话说, 如果 从 式 (1.13) 的 意义 上 说 过 程 x(z) 是 渐 近 不 相关 的 ,那么 过 程 的 时 间 平 均 A(N) 
收敛 于 集 平 均 4&( 利 用 均 方 误差 准则 )。 这 就 是 特殊 形式 的 平均 各 态 历经 定理 (Gray & Davis- 
son,1986) 的 表述。 

平均 各 态 历 经 定理 的 使 用 可 以 推广 到 过 程 的 其 他 时 间 平 均 。 例 如 ,考虑 如 下 用 来 估计 广 
义 平 稳 随机 过 程 自 相关 函数 的 时 间 平 均 


N-1 
Plk, N) = D ulnu(n — k) O<k<N-1 (1.14) 


(1.12) 


若 真 实 值 r(k) AMATHE (4, N) 之 差 的 均 方 值 随 着 N 趋 于 无 穷 大 而 趋向 零 , 则 称 过 程 u(n) 
为 相关 遍历 的 。 设 z( nm, 及 表示 与 原 过 程 v(m) 相 关 的 新 离散 时 间 随 机 过 程 , 即 
z(n, k) = u(n)u(n — k) (1.15) 
FH JE z(n, k RE u(r) ,我 们 可 使 用 平均 各 态 历经 定理 来 建立 使 zx(n ,大 ) 为 平均 各 态 
历经 或 相当 于 wu(n) 为 相关 遍历 的 条 件 。 
从 参数 估计 的 观点 看 ,均值 的 求解 (如 直流 分 量 ) 是 在 对 感 兴趣 的 分 量 估计 之 前 ,对 时 间 序 
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列 进行 的 最 重要 的 预 处 理 操作 。 这 个 预 处 理 得 到 一 个 零 均 值 残 差 时 间 序 列 ,其 中 不 同 延迟 的 
自 相关 函数 的 计算 对 过 程 的 局 部 特性 来 讲 已 经 完全 足够 。 
此 后 ,我 们 假设 随机 过 程 u(n) 为 零 均值 , 即 
E[u(n)]=0 对 所 有 n 
有 限 个 延迟 的 u(n) HARRAREN TAERE. 


1.3 TAX 


设 M xl 观测 向 量 u(n) 表 示 以 零 均值 时 间 序 列 xz(n),z(z-1) ua-M+1l) 为 元 素 
组 成 的 向 量 。 为 清楚 表示 u(n) 的 组 成 ,我 们 写 出 
u(n) = [u(n),u(n — 1),...,u(n — M+ (1.16) 
其 中 ,上 标 TERRE. RIEZ el IRR ES BST] RL, HE 
为 观测 向 量 u(n) 与 其 自身 外 积 的 期 望 。 用 R 表示 用 这 个 方法 定义 的 M x M 相关 和 矩阵 。 故 有 
R = Elu(m u”(n)] (1.17) 
其 中 上 标 五 表示 转 置 和 共 轿 相 结 合 的 所 谓 埃 尔 米 特 转 置 。 将 式 (1.16) 代 入 式 (1.17) 并 使 用 广 
义 平稳 条 件 , 得 到 相关 和 矩阵 的 扩展 形式 
r(0) r(1) “ r({M — 1) 
R= r1) "(0) 和 r(M ~ 2) (1.18) 
r(-M +1) r(-M +2) = 7(0) 
在 主 对 角 线 上 的 元 素 r(0) 总 为 实 值 。 对 于 复 值 数据 ,R 的 其 余 元 素 为 复数 值 。 
1.3.1 相关 矩阵 的 性 质 


相关 矩阵 R 在 统计 分 析 和 离散 时 间 滤 波 器 设计 中 起 着 重要 作用 。 因 此 理解 其 性 质 及 这 
些 性 质 的 含义 是 很 重要 的 。 特 别 地 ,利用 式 (1.17) 中 给 出 的 定义 ,我 们 发 现 平稳 离散 时 间 随 机 
过 程 的 相关 和 矩阵 具有 如 下 性 质 。 


性 质 1 平稳 离散 时 间 随 机 过 程 的 相关 矩阵 是 埃 尔 米 特 矩 阵 。 


当 一 个 复 值 矩 阵 等 于 它 的 共 斩 转 置 时 ,我们 就 说 该 矩阵 是 埃 尔 米 特 矩阵 。 因 此 可 以 将 相 
RERE R 的 埃 尔 米 特 和 矩阵 性 质 写 为 


R?=R (1.19) 
这 个 性 质 可 从 式 (1.17) 的 定义 中 直接 得 出 。 该 性 质 亦 可 表示 为 
r(—k) = r*(k) (1.20) 


其 中 ,r() 是 延迟 为 的 随机 过 程 w(n) 的 自 相关 函数 。 因 此 ,对 于 一 个 广义 平稳 过 程 ,只 需 
要 自 相关 函数 r(k) (k=0,1,…, M1) 的 MM 个 值 就 可 以 完全 定义 相关 矩阵 R。 可 以 将 式 
(1.18) BBA 
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r(0) r(1) = r(M=1) 
ml) r(0) © (Mt ~ 2) (1.21) 
r*(M—1) r*(M—2) = r(0) 


此 后 ,我 们 将 使 用 这 种 方法 来 表示 广义 平稳 离散 随机 过 程 的 相关 和 矩阵 的 展开 形式 。 应 注意 到 ， 
对 于 实数 据 的 特殊 情况 , 自 相关 函数 r(k) 对 所 有 都 是 实数 ,并 且 相 关 甜 阵 及 是 对 称 的 。 


性 质 2 平稳 离散 时 间 随 机 过 程 的 相关 抢 阵 是 托 伯 利 兹 (Toeplitz) 抢 阵 。 


若 一 个 方 阵 的 主 对 角 线 上 的 所 有 元 素 相等 ,而 且 任 一 条 平行 于 主 对 角 线 的 对 角 线 上 的 元 
素 也 相等 ,我 们 就 说 该 方 阵 为 托 伯 利兹 矩阵 。 从 式 (1.21) 中 给 出 的 相关 和 矩阵 R 的 展开 形式 可 
以 看 出 ,所 有 主 对 角 线 上 的 元 素 等 于 r(0), 所 有 在 主 对 角 线 上 一 行 的 对 角 线 上 的 元 素 等 于 
r(1), 所 有 在 主 对 角 线 下 一 行 的 对 角 线 上 的 元 素 都 等 于 r" (1)。 其 他 对 角 线 也 是 如 此 。 因 此 ， 
我 们 得 出 结论 :相关 和 矩阵 R 是 托 伯 利 兹 矩阵 。 

应 该 看 到 ,相关 矩阵 及 的 托 伯 利兹 性 质 是 假设 观测 向 量 u(n) 所 表示 的 离散 时 间 随 机 过 
程 是 广义 平稳 的 一 个 直接 结果 。 实 际 上 ,可 以 这 样 表述 :如 果 离 散 时 间 随 机 过 程 是 广义 平稳 
的 , 则 它 的 自 相关 矩阵 及 一 定 是 托 伯 利兹 矩阵 ;反之 ,如 果 相 关 和 拢 阵 R 为 托 伯 利兹 矩阵 , 则 该 
离散 时 间 随 机 过 程 一 定 是 广义 平稳 的 。 


性 质 3 高 散 时 间 随 机 过 程 的 相关 和 盾 阵 总 是 非 负 定 ,并 有 旦 几乎 总 是 正定 。 


设 a 为 任意 ( 非 零 )M x1 的 复 值 向 量 。 定 义 标 量 随 机 变量 y 为 a 和 观测 向 量 u(n) 的 内 
积 , 即 
y =au(n) 
两 边 取 埃 尔 米 特 转 置 并 将 y 看 做 标量 因子 ,得 到 
y* = nz(m)a 
R HESKES. MES y 的 均 方 值 为 
Elly?) = Elyy*] 
= Efa"u(n)u"(n)a] 
= a” Elu(n)u"(n) Ja 


=a"Ra 
其 中 ,及 为 式 (1.17) 中 定义 的 相关 和 矩阵 。 双 Ra 称 为 埃 尔 米 特 形式 。 因 为 
E[ly?] > 0 
RA 
a’ Ra = 0 (1.22) 


对 于 每 一 个 非 零 的 a, 满 足 这 个 条 件 的 埃 尔 米 特 形式 就 说 是 非 负 定 或 半 正 定 的 。 
如 果 埃 尔 米 特 形 式 对 所 有 非 零 a 满足 如 下 条 件 
azRa > 0 
则 称 该 相关 矩阵 R 是 正定 的 。 除 非 组 成 M 个 分 量 观 测 向 量 u(n) 的 每 个 随机 变量 间 存 在 线性 
关系 ,否则 广义 平稳 随机 过 程 满足 这 个 条 件 。 上 述 情 况 基 本 上 只 出 现在 过 程 u(n) Æ KaM 
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Int K PERIK 之 和 组 成 的 (更 多 细节 参见 第 1.4 节 )。 在 实际 中 我 们 发 现 ,这 种 理想 状况 极 
少 发 生 , 以 致 于 相关 矩阵 几乎 都 是 正定 的 。 


性 质 4 由 于 不 可 避免 地 存在 加 性 噪声 ,广义 平稳 过 程 的 相关 矩阵 是 非 奇异 的 。 


WRIJF R 的 行列 式 ( 记 为 det( 了 及 )) 是 非 零 的 , 则 说 及 是 非 奇 异 的 。 典 型 地 ,观测 向 
E an) 的 每 个 元 素 都 包含 一 个 加 性 噪声 分 量 。 因 此 ,我 们 发 现 , 对 所 有 !z0 的 1 
I7(1)1 < r(O) 
其 中 det(R) 40 且 相 关 和 矩阵 是 非 奇 蜡 的 。 
性 质 4 有 一 个 重要 的 计算 隐 含 :矩阵 R 的 非 奇 异性 意味 着 ,其 逆 R :存在 且 可 定义 为 
adj(R) 


R' = det (R) (1.23) 


其 中 ,adj(R) 是 R 的 伴随 (adjoint) 和 矩阵 。 根 据 定义 ,adj(R) 是 以 det(R) 中 元 素 的 代数 余子 式 为 元 
素 的 矩阵 的 转 置 。 式 (1.23) 表 明 , 当 det(R) 0( 即 R 非 奇异 ) 时 ,其 道 和 矩阵 存在 从 而 可 以 计算 。 


性 质 5 当 组 成 平稳 离散 时 间 随 机 过 程 的 观测 向 量 的 元 素 反 向 重 排 时 ,其 效果 相当 于 求 





该 过 程 相 关 和 矩阵 的 转 置 。 . 
设 (nn) 表 示 观 测 向 量 u(n) 的 元 素 反 向 重 排列 得 到 的 M x 1 向 量 ,从 而 有 
wn) = [u(n -M +1) u(n- M + 2),..., u(n) | (1.24) 
其 中 上 标 B 表示 某 一 向 量 的 反 序 重 排 。 向 量 a* (n) 的 相关 垂 阵 定义 为 
r(0) r*(1) “+ r*(M — 1) 
E[u®(n)u?*(n)] — [0 (0) - an -= 2) (1.25) 
r(M—1) r(M—2) = r(0) 
因此 , iach be Bek (1.25) ITI YAK (1.21) ,有 
E[u®(n)u2"(n)] = RT 
这 就 是 我 们 所 期 望 的 结果 。 
性 质 6 平稳 离散 时 间 随 机 过 程 的 相关 和 矩阵 Ry 和 Ry, OIR FEER MAMA 
观测 值 ) 之 间 的 关系 为 
{ WH 
wen = [OR] um 
或 等 价 地 
| Bt 
及 w+i = | (1.27) 
其 中 r(0) 为 零 延 迟 时 过 程 的 自 相 关 , 且 
r? = [r(1), r(2),...,7(M)] (1.28) 


Fl 
re = [r(-M),r(-M + 1),...,r(-1)] (1.29) 
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注意 在 性 质 5 中 ,我 们 已 经 为 相关 甜 阵 的 符号 加 了 MEM +1 的 下 标 ,以 显示 对 用 于 定义 
矩阵 的 观测 数 的 依赖 关系 。 只 有 当 所 考虑 的 问题 涉及 观测 数 或 矩阵 维 数 的 依赖 性 时 才 遵 从 这 
一 准则 (在 相关 和 矩阵 和 其 他 向 量 范围 内 )。 

为 了 得 到 式 (1.26) ,将 相关 和 矩阵 Ry 1 用 其 展开 形式 来 表示 ,并 分 块 为 


KO rr2) ra 
FT FO) (1) M1 

Ras = | 2) rx) 0) A(M = 2) (1.30) 
PUT mm 人 = 7(0) 


在 式 (1.30) 中 利用 式 (1.18) 、 式 (1.20) 和 式 (1.28) ,可 以 得 到 式 (1.26)。 注 意 , 对 应 于 这 种 联 
系 ,观测 向 量 uw,,(n) 可 分 块 为 


um+(7) = | u(n = 2) 


- Ee a (1.31) 
uy(n — 1) 
式 中 ,下 标 M+1 用 来 注 明 uy. .(n) 有 NM+I 个 分 量 ,ax(z) 也 类 似 。 
为 证 明 式 (1.27) 的 关系 ,将 相关 和 矩阵 Rw ,1 用 其 展开 形式 表示 为 男 一 种 分 块 形式 


r(0) r(1) =- r(M — 1) ir(M) 
r*(1) r(0) + (M — 2) ir(M — 1) 
Ryn =|: : ot | (1.32) 
MD MD) 0) Er) 
r*(M) r*(M—1) = r*(1) ir(0) 


然后 再 一 次 在 式 (1.32) 中 利用 式 (1.18)、 式 (1.20) 和 式 (1.29) ,可 得 到 式 (1.27) 给 出 的 结果 。 
注意 ,对 应 于 第 二 种 关系 ,观测 向 量 uy,1(n) 可 用 另 一 种 分 块 方法 表示 为 


u(n) 
u(n — 1) 
uu+i(n) =] : 


_ Re (1.33) 


1.4 IER AKER 


一 种 特别 受 关注 的 时 间 序 列 由 被 加 性 噪声 污染 的 复数 正弦 信号 组 成 。 这 种 时 间 序 列 代表 
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了 者 干 重要 的 信号 处 理应 用 。 例 如 ,在 时 间 域 中 ,这 类 序列 表示 一 个 接收 器 输入 端的 合成 信 
号 ,其 中 复 正 弦 信 号 表示 目标 信号 ,而 噪声 表示 在 接收 器 前 端 产 生 的 热 噪声 。 在 空间 域 , 它 代 
表 某 一 传感器 线性 阵列 所 接收 的 信号 ,其 中 复 正 弦 信 号 表示 由 远 端 信 源 (发 射 器 ) 产 生 的 平面 
波 ,而 噪声 表示 传感器 噪声 。 
Re 表示 复 正 弦 信 号 的 幅度 ,w 表示 其 角 频 率 。 同 时 设 y(n) 表 示 零 均值 噪声 的 样本 。 那 
么 ,可 将 复 正 弦 信 号 加 噪声 组 成 的 时 间 序 列 样本 表示 为 


u(n) = aexp(jwn) + v(n) n=0,1,...,.N-1 (1.34) 
复 正 弦 信 号 源 和 噪声 源 相 互 独立 。 由 于 假设 噪声 分 量 y(n) 具 有 零 均值 ,可 由 式 (1.34) 中 得 出 
&(z) 的 均值 为 aexp( jwn)。 


为 了 计算 过 程 uw(n) 的 自 相 关 函 数 ,显然 需要 知道 噪声 y(n) BRR. I, Bi 
自 相关 函数 表征 一 种 特殊 形式 的 噪声 , 即 
ao k=0 
Elv(n)v*(n 一 k)] = ‘° k#0 (1.35) 
这 样 一 种 噪声 通常 称 为 白 噪声 ,我 们 将 在 第 1.14 节 详 细 介 绍 它 。 既 然 产 生 复 正 弦 信 号 和 噪声 
的 源 是 相互 独立 的 ( 即 不 相关 的 ) , 则 可 以 推断 ,过 程 w(n) 的 自 相 关 函 数 等 于 它 的 两 个 独立 分 
量 的 自 相 关 函 数 之 和 。 因 此 ,利用 式 (1.34) 和 式 (1.35) 可 以 发 现 ,延迟 为 的 过 程 u(n) 的 自 
相关 函数 为 
r(k) = Elu(n)u*(n — k)] 
E one k=0 (1.36) 
la exp(jwk) k #0 
其 中 1e | 为 复 振幅 a 的 模 。 应 注意 到 ,如果 延 迟 上 4 0, 则 当 wu(n) 的 样本 随 ”变化 时 ,除了 幅 
度 变 化 外 ,同一 正弦 信号 的 自 相 关 函 数 r(k) 也 随 着 & 的 变化 而 变化 。 给 定 样 本 序列 u(n), 
u(n 一 1),…,u(n 一 和 + 1), 我 们 可 以 将 u(n) 的 相关 和 矩阵 表示 为 


1 + exp (jw) = exp(jo(M — 1)) 
R = jaf exp(—ja@) 1 + te exp(ja(M 一 2)) (1.37) 
exp(-ja(M = 1)) exp(-jo(M ~2)) = 1+5 
其 中 . 
al’ 
p= a (1.38) 


Oy 


为 信 品 比 。 式 (1.37) 中 的 相关 和 矩阵 及 具有 第 1.3 节 中 描述 的 所 有 性 质 ,读者 可 以 证 明之 。 
式 (1.36) 提 供 了 含 加 性 品 声 的 复 正 弦 信 和 号 中 估计 参数 时 两 步 操作 的 数学 基础 ， 
1) 测量 过 程 wu(n) 的 均 方 值 -(0)。 从 而 可 根据 给 定 的 噪声 方差 o ,确定 幅 值 1c | 。 
2) 测量 延迟 k #0 时 过 程 uv(n) 的 自 相 关 函 数 r(k)。 从 而 可 根据 步骤 1 给 定 的 1a?| ,确定 
角 频 率 Wo 
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注意 ,这 种 估计 步骤 不 随 a 相位 的 改变 而 改变 ,这 是 由 自 相 关 函 数 r(〖) 定 义 的 一 个 直接 结果 。 

例 1 考虑 理想 状态 下 角 频 率 为 w 的 无 噪声 正弦 波 。 为 便于 说 明 , 假 设 我 们 感 兴趣 的 时 间 序 
列 是 由 该 正弦 波 获得 的 三 种 均匀 间隔 样本 组 成 。 因 此 , 设 信 骂 比 p= ©, RFR M = 3， 
从 式 (1.37) 中 可 以 得 到 时 间 序 列 的 相关 矩阵 为 


1 exp(jw) exp(j2w) 
R = lal| exp(—jw) 1 exp (jw) 
exp(—j2w) exp(—jw) 1 
由 上 式 容 易 看 出 ,RR 的 行列 式 和 各 个 主子 式 都 为 0, 故 这 个 相关 矩阵 为 退化 的 。 
我 们 可 以 推广 刚刚 得 到 的 结果 ,表述 为 在 过 程 u(n) BEAK K PER Fo fH M 
个 样本 ( 开 < M)。 并 且 在 无 加 性 噪声 的 情况 下 ,该 过 程 的 相关 纸 阵 是 退化 的 。 


1.5 随机 模型 


模型 这 个 术语 用 于 任何 假设 ,这 些 假设 可 用 来 解释 或 描述 应 该 操纵 或 约束 感 兴趣 物理 数 
据 所 隐 含 的 规律 。 用 模型 数据 表示 随机 过 程 可 追溯 到 Yule(1927) 的 想法 。 这 个 想法 是 :由 高 
度 相 关 的 观测 值 组 成 的 时 间 序 列 wu(n), 可 通过 一 系列 统计 独立 的 脉冲 激励 一 个 线性 滤波 器 
来 产生 ,如 图 1.1 所 示 。 该 冲击 是 从 某 一 固定 分 布 (通常 假设 具有 和 零 均值 和 常数 方差 的 高 斯 分 
布 ) 中 获取 的 随机 变量 。 这 样 , 一 系列 随机 变量 就 组 成 了 一 个 纯 随 机 过 程 ,通常 称 为 高 斯 白 噪 
声 。 特 别 地 ,可 用 统计 术语 描述 图 中 的 输入 y(n) 为 
E[v(n)|=0 对 所 有 nn (1.39) 
和 
a kan 
Eimer) = fo ee 
其 中 oo? 为 噪声 方差 。 式 (1.39) 由 零 均值 假设 得 出 , 式 (1.40) 由 白 噪 声 的 假设 推出 。 高 斯 过 程 
的 假设 的 含义 在 第 1.11 节 中 讨论 。 


从 纯 随机 过 
程 提取 的 离散 时 间 线 性 离散 时 间 随机 
RaR” 滤波 器 过 程 的 样 值 
n un 


图 1.1 随机 模型 


一 般 来 讲 ,图 1.1 中 随机 模型 的 输入 输出 关系 的 时 域 描述 可 以 表述 如 下 : 
模型 输出 】 [模型 输入 当前 
(BME) ，| 过 去 值 的 | + | 值 和 过 去 值 的 
当前 值 
线性 组 合 线性 组 合 


(1.40) 


+ (1.41) 











以 上 描述 的 随机 过 程 称 为 线性 过 程 。 
图 1.1 中 所 示 随 机 模型 的 结构 由 式 (1,41) 中 两 个 线性 组 合 表示 的 方式 来 决定 。 于 是 ,我 
们 可 以 辨认 出 三 种 流行 类 型 的 线性 随机 模型 : 


1) 自 回 归 模 型 ,其 中 没有 使 用 模型 输入 的 过 去 值 。 
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2) 滑动 平均 (MA) 模 型 ,其 中 没有 使 用 模型 输出 的 过 去 值 。 
3) 混合 的 自 回归 -滑动 平均 (ARMA) 模 型 ,以 其 完整 形式 使 用 式 (1.41) 的 描述 。 因 此 ,这 
类 随机 模型 包含 了 自 回归 和 滑动 平均 作为 特例 。 


1.5.1 自 回归 模型 
如 果 时 间 序 列 zx(n),z(m-1)，…, (7- 及) 满足 下 列 差分 方程 
u(n) + afu(n — 1) +=- + atju(n — M) = x(n) (1.42) 


则 称 u(n),u(n—-1),°,u(n—- MM) 实现 了 MM 阶 自 回归 (AR,avtoregressive) 过 程 ,其 中 常数 a, 
ars, an PRY AR BR y(n) AAR. apuln-k)W a, 与 zz- 8) 内 积 的 标量 形式 ,其 中 
k=1,.…,M。 
为 解释 “ 自 回归 ”这 个 术语 ,我 们 将 式 (1.42) 重 写 为 

u(n) = whu(n — 1) + whu(m — 2) +++ + whuln — M) + v(n) (1.43) 
AP w,=-a,. 由 此 可 见 , 过 程 的 当前 值 x(z) 等 于 过 程 的 过 去 值 v(n -1)，……,z(m- 邓 ) 的 
有 限 线 性 组 合 ,再 加 上 一 个 误差 项 v(n)。 现 在 可 以 看 出 自 回 妇 的 含义 :反映 相关 变量 y 与 一 
组 独立 变量 x ，x,，… ,xw 加 上 误差 项 y(n) 之 间 关 系 的 线性 模型 


M 
yr Dd wi x, + yp 
k=1 


称 为 自 回 归 模型 (regression model) 。 在 式 (1.43) 中 ,变量 u(n) 在 其 自身 的 过 去 值 上 回归 , 故 称 
为 自 回归 。 

式 (1.42) 的 左 侧 表示 输入 序列 | v(m)} 与 参数 序列 { c* | 的 卷 积 。 为 强调 这 点 ,将 它 以 卷 
积 和 的 形式 重 写 为 


M 
È akul — k) = v(n) (1.44) 


其 中 ao = 1。 对 式 (1.44) 两 边 取 z 变换 ,可 将 式 左 边 的 卷 积 和 转化 为 序列 {|u(n)| 与 参数 序列 
ja, 1z 变换 的 乘积 。 设 


M 

H(z) = Darz” (1.45) 
BEAN FPS ja? | 的 z 变换 ,并 设 

U(z) = > u(n)z" (1.46) 
为 输入 序列 {4(n) | AY z 变换 ,其 中 z 为 复 变量 ,可 以 将 式 (1.42) 的 差分 方程 转化 成 

Ha(z)U(z) = V(z) (1.47) 
其 中 . , 

V(z) = X p(n)” (1.48) 


n= 


取决 于 是 否 可 将 AR 过 程 u(n) 看 成 感 兴趣 的 输入 或 输出 , 式 (1.47) 的 z 变换 有 两 种 解释 : 


1) 给 定 AR 过 程 u(n) ,我 们 可 以 用 图 1.2(a) 所 示 的 滤波 器 来 产生 白 噪 声 v(n) 作 为 输出 。 
滤波 器 参数 与 w(n) 的 参数 之 间 有 一 一 对 应 关系 。 因 此 ,这 样 一 个 滤波 器 代表 了 一 个 
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具有 离散 转移 函数 OH, (2) = Y(z)/5(z) 的 过 程 分 析 器 。AR 过 程 分 析 器 [ 即 A, (2) É 
z 反 变 换 ] 的 脉冲 响应 是 有 限 持续 的 。 
2) 使 用 白 噪 声 y(n ) 作 为 输入 ,可 以 用 如 图 1.2(b) 所 示 的 滤波 器 来 产生 AR 过 程 u(n) 输 
出 。 相 应 地 ,这 个 滤波 器 表示 一 个 过 程 发 生 器 ,其 转移 函数 等 于 
A,{z) = ute) 
V(z) 
_ 1 
7 H(z) 








(1.49) 





(b) AR 过 程 发 生 器 
图 1.2 自 回归 过 程 
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图 1.2(a) 的 AR 过 程 分 析 需 是 一 个 全 零点 滤波 器 。 之 所 以 这 人 么 称呼 它 , 是 因为 其 转移 函 
数 及 (z) 完 全 由 它 的 零点 位 置 所 定义 。 这 个 滤波 絮 从 本 质 上 就 是 稳定 的 。 
图 1.2(b) 的 AR 过 程 发 生 器 是 一 个 全 极点 滤波 器 。 之 所 以 这 么 称呼 它 , 是 因为 其 转移 也 
数 Hc(z) 完 全 由 它 的 极点 位 置 所 定义 , 即 
1 





H 一 
G(Z) (G-p) pz’) (1 — puz’) (1.50) 
参数 pi prs to py 为 He(z) 的 极点 ,它们 由 特征 方程 的 根 定义 为 
1 +ažz! +ałšz7? +- + aġz™“=0 (1.51) 


要 使 图 1.2(b) 中 的 全 极点 AR 过 程 发 生 器 稳定 ,特征 方程 (1.51) 的 所 有 根 都 必须 位 于 z 平面 
的 单位 圆 内 。 这 也 是 由 图 1.2(b) 产 生 的 AR 过 程 为 广义 平稳 的 充分 必要 条 件 。 在 第 1.7 节 中 
我 们 将 更 多 地 讨论 平稳 性 问题 。 


1.5.2 滑动 平均 模型 


在 滑动 平均 (MA,moving-average) 模 型 中 ,图 1.1 中 的 离散 时 间 线 性 滤波 器 由 一 个 受 白 噪声 

驱动 的 全 零点 滤波 器 组 成 。 在 滤波 器 输出 端 所 产生 的 过 程 u(n) 由 如 下 差分 方程 

u(n) = p(n) + brv(n — 1) + + biv(n — K) (1.52) 
来 描述 。 其 中 by, +, bx 为 常数 , 称 为 MA 参数 ,v(n) 为 具有 零 均值 和 方差 为 oz 的 白 噪 声 。 除 
了 v(n), 式 (1.52) 右 边 的 每 一 项 皆 为 内 积 的 标量 形式 。 这 个 MA 过 程 为 天 阶 。 滑 动 平均 只 是 近 
似 的 称呼 ,但 其 用 法 已 在 文献 中 确立 。 它 的 使 用 是 这 样 的 :如 果 给 定 白 噪声 y(n) 的 一 个 瞬 态 实 
现 , 则 可 以 通过 建立 样本 值 vn) y(n 一 1),…,v(n 一 下) 的 加 权 平 均 来 计算 un). 

从 式 (1.52) ,我 们 容易 获得 如 图 1.3 所 示 的 MA 模型 ( 即 过 程 生成 器 )。 具 体 来 说 ,我 们 从 
模型 输入 端的 白 噪 声 "(m) 开 始 ,在 输出 端 产 生 一 个 天 阶 MA 过 程 uw(n)。 如 以 相反 方式 进行 
[ 即 给 定 MA 过 程 u(n), PEBRE y(n)], 则 需要 一 个 全 极点 的 滤波 器 。 换 言 之 ,用 于 产生 
和 分 析 MA 过 程 的 滤波 器 正好 与 用 于 AR 过 程 的 滤波 器 相反 。 

白 噪声 


un) 





W13 ”滑动 平均 模型 (过 程 发 生 器 ) 
15.3 自 回归 滑动 平均 模型 


为 了 产生 一 个 混合 的 自 回归 滑动 平均 (ARMA , autoregressive-moving-average) 过 程 u(n), R 
们 使 用 图 1.1 所 示 的 离散 时 间 线 性 滤波 器 , 该 滤波 器 具有 同时 含 极点 和 零点 的 转移 函数 。 因 
此 ,给 定 白 噪声 y(n ) 作 为 滤波 器 输入 ,在 输出 端 产生 的 ARMA 过 程 u(n) 基 于 如 下 差分 方程 
u(n) + afu(n — 1) +++ + aġu(n — M)= 
v(n) + bfv(n — 1) +- + bev(n — K) (1.53) 
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IP, ait, am Alb, +, bx 称 为 ARMA 参数 。 除 了 式 (1.53) 左 边 的 u(n) 和 右边 的 y(n) 外 ， 
其 他 所 有 项 都 表示 内 积 的 标量 形式 ,该 ARMA 过 程 的 阶 数 为 (M ,天 )。 

从 式 (1.53) 容 易 导出 图 1.4 中 的 ARMA 模型 ( 即 过 程 产生 器 )。 将 它 与 图 1.2(b) 和 图 1.3 
比较 ,可 明显 看 出 AR 和 MA 模型 实际 上 是 ARMA 模型 的 特例 。 





图 1.4 (M, K)BY ARMA 模型 (过 程 发 生 器 ) ,假设 M > K 

图 1.4 中 ARMA 过 程 生成 器 的 转移 函数 同时 具有 零点 极点 。 类 似 地 ,给 定 一 个 ARMA 过 
程 &(nm), 用 来 产生 白 噪 声 v(n) 的 ARMA 分 析 器 的 转移 函数 也 同时 包含 零点 和 极点 。 

从 计算 的 观点 来 看 ,AR 模型 较 MA 和 ARMA 模型 有 一 个 优点 :图 1.2(a) 模型 中 AR 系数 
的 计算 涉及 称 为 尤 尔 -沃克 方程 的 系统 线性 方程 。 其 细节 将 在 第 1.8 节 中 阐述 。 另 一 方面 ,图 
1.3 模型 中 MA 系数 的 计算 比 图 1.4 模型 中 ARMA 系数 的 计算 要 复杂 得 多 。 二 者 均 要 求解 非 
线性 方程 组 。 实 际 上 , 正 是 由 于 这 个 原因 ,我 们 发 现 AR 模型 比 MA 和 ARMA 模型 更 流行 。AR 
模型 的 广泛 运用 也 已 为 时 间 序 列 分 析 基 本 理论 的 优点 所 证 明 ,这 将 在 以 后 讨论 。 


1.6 Wold 分 解 


Wold(1938) 证 明了 一 个 基本 理论 :任意 一 个 平稳 离散 时 间 随 机 过 程 ,都 可 被 分 解 成 两 个 互 
不 相关 的 一 般 线性 过 程 和 可 预测 过 程 之 和 。 更 准确 地 说 ,Wold 证 明了 以 下 结果 : 
任 一 平稳 离散 时 间 随 机 过 程 x(n) 都 可 以 表示 为 如 下 形式 
x(n) = u(n) + s(n) (1.54) 
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其 中 
1) wu(n) 和 s(n) 为 两 个 互 不 相关 的 过 程 ; 
2) wu(n) 是 由 MA 模型 表示 的 一 般 线性 过 程 , 即 
= Zo (n - (1.55) 
RF 加 =1, 且 
> lel < oo 
,(n) 是 与 s(n) 不 相关 的 白 噪 声 , 即 
E[v(n)s*(k)]=0 对 所 有 (n ,上 ) 
3) s(n) 为 可 预测 过 程 ,也 就 是 说 ,该 过 程 可 从 零 预 测 方差 的 过 去 值 进行 预测 。 
这 个 结果 称 为 Wold 分 解 理 论 。 该 理论 的 证 明 由 Priestley(1981) 给 出 。 
根据 式 (1.55) ,一 般 线性 过 程 w(n) 可 由 白 噪 声 y(n) 通 过 一 个 全 零点 滤波 器 来 产生 ,如 
图 1.5(a) 所 示 。 该 滤波 器 的 转移 函数 的 零点 等 于 如 下 方程 


-> b*¥z" =0 
的 根 。 一 个 令 人 感 兴趣 的 结果 是 一 个 最 小 相位 全 零点 滤波 器 , 即 多 项 式 B(z) 的 所 有 零点 都 在 单位 
圆 内 。 tek 情况 下 ,可 以 用 一 个 具有 相同 冲 激 响 应 h, = b, 的 等 效 全 极点 滤波 器 来 代替 全 零点 滤 
波 器 ,如 图 1.5(b) 所 示 。 这 意味 着 ,除了 可 预测 分 量 外 ,平稳 离散 时 间 随 机 过 程 同 样 可 以 表示 为 适 


当 阶 数 的 AR 过 程 , 其 阶 数 受 到 上 述 B(z) 的 约束 条 件 的 限制 。MA 和 AR 模型 的 基本 区 别 在 于 : 
在 MA 模型 中 8B(z) 对 输入 y(n) 进 行 操作 ,而 在 AR 模型 中 ,8-'(z) 对 输出 w(n) 进 行 操作 。. 


Ane BA PHB BEY hn = bn wee 
vín) 的 全 零点 滤波 器 过 程 
u(n) 


(a) 基于 全 零点 滤波 器 用 来 产生 一 般 线性 过 程 x(m) 的 模型 


= 一 般 

和 白 噪声 脉冲 响应 为 hh, = bn 线性 
v(n) 的 全 极点 滤波 器 过 程 
u(n) 


O 基于 全 极点 滤波 器 用 来 产生 一 般 线性 过 程 x(m) 的 模型 
图 1.5 两 种 具有 完全 相同 的 脉冲 响应 滤波 器 


1.7 回归 过 程 的 渐 近 平稳 


式 (1.42) 是 一 个 M 阶 常 系数 线性 差分 方程 ,其 中 v(n) 起 输入 和 驱动 函数 的 作用 ,而 w(n) 

为 输出 或 解 (solution) 。 利 用 经 典 方 法 和 求解 这 个 方程 ,可 把 解 w(m) 表 示 为 补 函 数 和 wu.(n) 和 
特 解 u, (n) ZA, BP 

u(n) = u(n) + u,(n) (1.56) 


O 也 可 以 用 z 变换 的 方法 来 求解 差分 方程 (1.42) ,不 过 对 这 里 的 讨论 而 言 ,用 经 典 方法 更 有 意义 。 
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于 是 ,求解 wx(m) 分 为 两 个 步骤， 
1) hR u.(n) 是 齐 次 方程 . 
u(n) + afu(n — 1) + afu(n — 2) + =- + a%u(n — M) =0 
的 解 。 一 般 地 , u.(n) 的 形式 如 下 
u(n) = Bipi + Bap) +: + Bupu (1.57) 
式 中 B,, B,,…, By 是 任意 常数 ,而 Pi,pz，…,pw 为 特征 方程 (1.51) 的 根 。 
2) 特 解 定义 为 
u(n) = Ha(D)[v(n)] (1.58) 
式 中 D 为 单位 延迟 算 子 ,而 且 通 过 用 刀 代 替 式 (1.49) 离 散 变换 函数 中 的 z-! 获 得 算 子 
Ho (DD)。 单 位 延迟 算 子 D 具有 如 下 性 质 


D'u(n)] = u(n — k) k =0,1,2,... (1.59) 
常数 B, By, By 通过 选择 初始 条 件 来 决定 。 通 常 ,将 W 个 初始 条 件 设置 为 
u(0) = 0 
u(-1) =0 
u(-M +1) =0 (1.60) 


这 等 效 于 设置 图 1.2(b) 中 模型 的 输出 以 及 随后 的 (M - 1) 抽 头 输入 ,而 且 在 n =0 时 刻 令 其 为 0。 将 
这 些 初始 条 件 代入 式 (1.56) 到 式 (1.58) ,得 到 MY 个 联 立方 程 组 ,由 此 可 解 出 常数 B, Ba, By。 

将 式 (1.60) 中 的 初始 条 件 强 加 于 解 w(n), 其 结果 是 使 该 离散 时 间 随 机 过 程 非 平稳 化 。 经 
再 三 考虑 后 ,显然 必须 如 此 ,因为 已 经 对 时 间 点 n =0 给 定 一 个 特殊 状态 ,而 且 即 使 对 于 二 阶 
矩 ,时 移 原点 不 变性 的 性 质 也 不 成 立 。 但 是 ,如 果 w(n) 可 以 “遗忘 ”其 初始 条 件 , 则 所 产生 的 
过 程 是 渐进 平稳 的 , 即 随 着 ”趋向 于 无 穷 大 , 它 趋向 于 平稳 过 程 (Priestley,1981)。 这 个 要 求 可 
通过 如 下 步骤 满足 :选择 图 1.2(b) 中 AR 模型 参数 ,使 得 随 着 n 趋 于 无 穷 大 , 补 函 数 u, (n) 
减 到 0。 由 式 (1.57) 可 见 , 对 于 式 中 任意 常数 , 当 且 仅 当 

Ipsl <1 对 所 有 天 

上 述 要 求 能 够 满足 。 因 此 ,为 使 以 方程 解 x(z) 表 示 的 离散 时 间 随 机 过 程 渐 近 平稳 ,要 求 AR 
模型 中 滤波 器 的 全 部 极点 都 位 于 z 平面 上 的 单位 圆 内 。 这 个 条 件 直 观 上 是 满足 的 。 


1.7.1 渐 近 平稳 AR 过 程 和 的 自 相 关子 数 
假设 渐 近 平稳 的 条 件 都 满足 ,可 以 导出 所 产生 的 AR 过 程 自 相关 函数 的 一 个 重要 递归 关 
系 。 从 式 (1.42) 两 边 同 乘 以 w Cn- 站 开始 ,然后 对 其 两 边 求 统计 期 望 ,可 得 
z| Satu(n — k)u*(n 一 n| = Elv(n)u*(n — 0)] (1.61) 
k=0 


其 次 ,简化 式 (1.61) 的 左边 , 即 交 换 期 望 与 求 和 ,而 且 认 为 期 望 Eluln-k)u* (n -1)] 等 于 延 
迟 为 1 -的 AR 过程 的 自 相 关 函 数 。 接 着 通过 观测 当 1 > 0 时 期 望 Ef[y(n)u* (n—-1)] =0, 
简化 其 右边 ,这 是 因为 uw(n - 由) 只 涉及 图 1.2(b) 中 到 时 间 (n -71)( 1>0) 为 止 滤 波 器 输入 端的 
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白 噪 声 样 值 ,而 与 白 噪声 样 值 v(n) 无 关 。 因 此 ,可 将 式 (1.61) 简 化 为 


Satr- k) = 0 /> 0 (1.62) 
k=0 
其 中 ao = 1。 由 此 可 见 ,AR 过 程 的 自 相关 函数 满足 差分 方程 
r(l) = wir(l — 1) + wri — 2) +: + whr(l — M) {>0 (1.63) 


AP, w 二 一 ar, k = 1,2,°°-,Mo 注意 式 (1.63) 类 似 于 AR 过 程 u(n) 自身 满足 的 差分 方程 。 
我 们 将 式 (1.63) 的 通 解 表示 为 


M 
r(m) = 之 Ce (1.64) 


其 中 , C, Cy. Cy 为 常数 ,pi, pz，… pw 为 特征 方程 (1.51) 的 根 。 注 意 , 当 图 1.2(b) 的 AR 
模型 满足 渐 近 平稳 条 件 时 ( 即 对 所 有 大 ,有 1 玉 | <1), 当 延迟 m 趋向 于 无 穷 大 时 , 自 相 关 函 数 
r(m) 趋向 于 0。 

式 (1.64) 中 极点 所 做 贡献 的 精确 形式 取决 于 该 极点 是 实数 还 是 复数 。 当 ps 为 实数 
时 ,相应 的 贡献 随 延 迟 m 的 减 小 而 几何 训 减 到 0, 这 种 贡献 称 为 指数 衰减 。 另 一 方面 ,复数 极 
Uh SESE ge Se BOP ,其 共 罗 复 数 极点 对 的 贡献 为 阻尼 正弦 曲线 形式 。 由 此 可 以 发 现 , 渐 近 
平稳 AR 过 程 的 自 相 关 函 数 由 阻尼 指数 和 阻尼 正弦 曲线 混合 构成 。 


1.8 尤 尔 -沃克 方程 


为 了 惟一 定义 图 1.2(b) 所 示 的 M 阶 AR 模型 ,需要 规定 两 组 模型 参数 : 

1. AR 系数 cl ，as ，……，ayr; 

2. 作为 激励 的 白 噪声 v(n) 的 方差 c, 。 

下 面 ,我 们 依次 阐述 这 两 个 问题 。 

首先 ,对 1=1,2,…, MH, 写 出 式 (1.63), 得 到 一 组 以 AR 过 程 自 相关 函数 7(0),r(1),…,r(M) 为 
已 知 数 ,AR 参数 a ，a,,…，ax 为 未 知 数 的 M 联 立方 程 组 。 该 方程 组 可 用 矩阵 展开 形式 表示 为 


r(0) r(1) “+ r(M —1) w r*(1) 
oe 0) 本 Aad — 2) É _ m2) (1.65) 
r*(M—1) r*(M-—2) … r(0) Wy r*(M) 


其 中 w, = -ao 方程 组 (1.65) 称 为 尤 尔 - 沃 克 (Yue-Walker) 方 程 (Yule,1927; Walker, 1931) 。 
可 用 矩阵 形式 将 尤 尔 -沃克 方程 表示 为 


Rw = (1.66) 
假设 相关 和 抢 阵 是 非 奇 异 的 ( 即 逆 矩 阵 存 在 ) ,可 得 式 (1.66) 的 解 为 
w=R'r (1.67) 
其 中 
w = [ao too 


相关 和 矩阵 R 由 式 (1.21) 定 义 ,向 量 r 由 式 (1.28) 定 义 。 从 这 两 个 方程 可 以 看 出 ,给 定 自 相关 序 
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列 r(0),r(1),…,r(M), 可 以 惟一 地 确定 矩阵 R 和 向 量 r。 因 此 ,利用 式 (1.67), 可 以 计算 系 


: 数 向 量 WwW, 从 而 AR 系数 Cr 三 一 w, k = 1,2,°°-, Mo 换 句 话说 ,AR 模型 系数 Qis Q23`°*', Ay 利 
AR 过 程 u(n) 的 归 一 化 相关 系数 pi ,oz，…，,pw 之 间 存 在 惟一 的 关系 , 即 





{a,,a,..., ay} == {pi,p2,..., PM} (1.68) 
其 中 第 大 个 相关 系数 定义 为 
k 
n= k =1,2,...,.M (1.69) 


1.8.1 BRAS 


对 于 1 = 0, 利 用 式 (1.42) 可 以 发 现 , 式 (1.61) 右 边 的 方差 具有 如 下 特殊 形式 
Elv(n)u*(n)] = Elp] (1.70) 


=a; 


其 中 of, ASMA AUR y(n) WAH. PAH, Ssh (1.61) 1 =0, SRP BB 
M 
a= > ark) (1.71) 


其 中 对 白 噪 声 的 方差 , ao = 1。 因 而 ,给 定 自 相关 r(0),r(1D),……,r(W) ,可 确定 白 噪声 的 方差 0o 
1.9 计算 机 实验 :二 阶 自 回 归 过 程 


为 了 说 明 AR 过 程 建 模 理论 的 发 展 ,我 们 考虑 一 个 二 阶 实 值 AR 过 程 的 例子 4。 图 1.6 给 
出 了 用 于 产生 该 过 程 的 模型 的 方 框图 。 这 个 过 程 可 用 如 下 二 阶 差分 方程 时 域 描述 为 
u(n) + au(n — 1) + mu(n — 2) = x(n) (1.72) 
RE "(m) 是 均值 为 零 HHA o, 的 白 噪声 过 程 。 图 1.7(a) 说 明了 该 白 噪 声 的 一 种 实现 。 我 
们 可 选择 方差 of ,使 得 w(n) 的 方差 等 于 1。 








白 噪 声 二 阶 AR 
样 值 v(n) ENR) 
u(n—1) 
u(n— 2) sh 
图 1.6 二 阶 实 值 自 相关 过 程 模型 Í = 
| | i; 
D 在 这 个 例子 中 ,我 们 沿用 Box 和 Jankins(1976) 描 述 的 方法 。 ey 
Y ee 


i 
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HBR v(n) 





AR 过 程 u(n) 


(b) 


AR WE u(n) 


AR 过 程 u(n) 





图 1.7 (a) 白 噪声 输入 的 一 种 实现 ;(b)、(c)、(qd) 分 别 对 应 于 式 (1.79)、 
式 (1.80)、 式 (1.81) 二 阶 AR 模型 的 输出 


1.9.1 渐 近 平稳 的 条 件 
二 阶 AR 过 程 u(n) 具 有 如 下 特征 方程 


1+a,z1+az?=0 (1.73) 
> Pi 和 P2 表示 该 方程 的 两 个 根 , 即 
1 
Py, P2 = z% + Va? — 4a) (1.74) 


为 了 使 x(m) 渐 近 平稳 ,要 求 这 两 个 根 位 于 z 平面 单位 圆 内 。 即 mm 和 p, 都 必须 小 于 1。 这 个 条 
件 又 反 过 来 要 求 AR 参数 a, 和 a, 位 于 由 下 式 
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-l<a@t+a, (1 75) 
-1 < a, — a ` 
-l<a<l 


定义 的 三 角形 区 域内 ,如 图 1.8 所 示 。 





图 1.8 AR 参数 a, Al dy 的 允许 范围 


1.9.2 自 相关 函数 


延迟 为 m 的 渐 近 平稳 AR 过 程 的 自 相 关 函 数 r(m) 满 足 差分 方程 (1.63)。 利 用 这 个 方程 ， 
可 得 到 如 下 二 阶 AR 过 程 自 相关 函数 的 二 阶 差 分 方程 


r(m) + ar(m—1)+ ar(m—-—2)=0 m>0 (1.76) 
根据 初始 条 件 ,我 们 有 (后 面 将 解释 ) 
r(0) = œ 
All -a 
r(1) = Trag” (1.77) 


于 是 ,对 r(m) 求 解 方 程 (1.76) ,得 到 
pi(p3 — 1) m _ ___PAPi - 1) m 
Ie 一 pi)(pip; + 1) Pi (p 一 P:)(PiP2 + 1) P2 | (1.78) 
其 中 ,m >0, p, 和 ps 由 式 (1.74) 定 义 。 
根据 pi 和 p, 是 实数 还 是 复数 ,考虑 两 种 特殊 情况 : 


情况 1: 实 根 的 情况 。 当 


r(m) = o2 


ai — 4a, > 0 
时 ,将 发 生 这 种 情况 , 它 对 应 于 图 1.8 中 抛物 线 下 面 的 区 域 1 和 区 域 2 。 在 区 域 1, 自 相关 函数 
随 着 衰减 保持 为 正 , 这 对 应 于 正 根 占 支配 地 位 的 情况 。 这 种 情况 对 应 于 图 1.9(a) 中 AR 参数 
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取 如 下 值 


和 

a, = —0.8 (1.79) 
在 图 1.7(b) 中 ,可 以 看 出 图 1.6 中 模型 的 输出 随时 间 变 化 的 情况 ,a, 和 a, 被 赋予 式 (1.79) 给 
出 的 值 。 这 个 输出 由 图 1.7(a) 中 的 输入 白 噪声 产生 。 


12 


0.8 
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= 00 
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€ 
X 
E 00 
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& 
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延迟 m 
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图 1.9 实 值 AR(2) 过 程 的 标准 化 自 相关 函数 图 


在 图 1.8 的 区 域 2 中 , 自 相 关 函 数 随 其 训 减 而 改变 符号 ,这 对 应 于 负 根 占 支配 地 位 的 情 
况 。 当 AR 参数 为 
a= 0.1 
和 


a, = —0.8 (1.80) 


第 1 章 随机 过 程 与 模型 45 


pn=r(m)/r(0) 
© 
= 


(c) KAR 
图 1.9( 续 ) 实 值 AR(2) 过 程 的 标准 化 自 相 关 函 数 图 。- 
时 ,这 种 情况 在 图 1.9(b) 中 示 出 。 在 图 1.7(c) 中 ,我 们 示 出 图 1.6 模型 输出 随时 间 变 化 的 情 
况 ,al 和 a, 的 值 由 式 (1.80) 给 出 。 这 个 输出 也 由 图 1.7(a) 中 给 出 的 输入 白喉 声 来 产生 。 
情况 2; 共 思 复 根 的 情况 。 当 
a?— 4a, <0 
时 ,将 发 生 这 种 情况 ,对 应 于 图 1.8 中 抛物 线 上 面 的 阴影 部 分 。 这 里 , 自 相关 函数 呈现 出 伪 周 


期 特性 。 当 AR 参数 为 
a, = 一 0.975 


和 - 
a = 0.95 (1.81) 


时 ,如 图 1.9(e) 所 示 。 在 图 1.7(d) 中 ,我 们 示 出 图 1.6 中 模型 的 输出 随时 间 变 化 的 情况 ,其 中 
a, 和 a, 的 值 由 式 (1.81) 给 出 。 这 个 输出 同样 由 图 1.7(a) 中 给 出 的 输入 白 噪声 来 产生 。 


1.9.3 尤 尔 -沃克 方程 
在 式 (1.65) 中 取 AR 模型 的 阶 数 M = 2, 得 到 二 阶 AR 过 程 的 尤 尔 -沃克 方程 
r(0) 9] | _ [| 
Wt r(0) J Lw r(2) (1.82) 


这 里 ,我 们 使 用 了 实 值 过 程 r( - 1) = r(1) 这 样 一 个 事实 。 对 w, 和 w, 解 式 (1.82) ,得 到 





(1.83) 
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也 可 以 用 式 (1.82) 依 据 AR 参数 a, 和 a, 来 表示 r(1) 和 r(2) , 即 





和 
2 
| _ \ 2 
r(2) ay 十 it 二 ja 


其 中 co* = r(0) ,这 个 解 很 好 地 解释 了 式 (1.77) 中 引用 r(0) 和 r(1) 初 始 值 的 原因 。 


(1.84) 


二 阶 过 程 渐 近 平稳 的 条 件 可 按照 式 (1.75) 中 的 AR 参数 a, 和 a 给 出 。 在 式 (1.84) 中 用 


a, 和 a, 表示 r(1) 和 r(2) ,我 们 可 以 重新 表示 渐 近 平稳 的 条 件 为 


-1 <p <1 - 
-1 <p<1 
和 
由 < 了 (1 + pr) 
其 中 
r(1) 
Py ~ 7(0) 
和 
r(2) 
P2 = (0) 


P3 


|d 
A 


A 





图 1.10 依据 归 一 化 自 相关 系数 的 二 阶 AR 过 程 参数 的 允许 区 域 p, 和 o 


(1.85) 


(1.86) 
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1.9.4 自 曲 声 的 方差 
令 式 (1.71) 中 M =2, 可 将 白 品 声 vy(n) 的 方差 表示 为 





o? = r(0) + ayr(1) + a2r(2) (1.87) 
其 次 ,将 式 (1.84) 代 入 式 (1.87) ,求解 o, = 1 (0) ,得 到 
_ 1+ a, a? 
re (1.88) 


对 于 以 前 考虑 的 三 组 AR 参数 ,我们 发 现 白 噪 声 v(n) 的 方差 具有 表 1.1 所 给 的 值 (假设 "。 = 1)。 
R11 AR 参数 和 噪声 方差 





ay a2 oz 
-0.10 -0.8 0.27 

0.1 -0.8 0.27 
- 0.975 0.95 0.0731 


1.10 选择 模型 的 阶 数 


用 线性 模型 表示 随机 过 程 的 方法 可 用 于 综合 或 分 析 。 在 综合 情况 下 ,对 模型 参数 赋予 一 
组 给 定 值 ,并 输入 零 均 值 给 定 方差 的 白 噪声 以 产生 期 望 的 时 间 序 列 。 另 一 方面 ,在 分 析 情 况 
下 ,通过 处 理 有 限 长 度 的 给 定时 间 序 列 来 估计 模型 参数 。 由 于 估计 是 统计 性 的 ,我 们 需要 模型 
和 观测 数据 之 间 拟 合 的 一 个 适当 度量 。 这 意味 着 除非 我 们 有 某 些 先 验 信息 ,否则 估计 程序 应 
当 包括 定 阶 的 标准 ( 即 模型 中 的 自由 度 )。 在 式 (1.42) 定 义 的 AR 过 程 的 情况 下 ,模型 阶 数 等 
于 M。 在 由 式 (1.52) 所 定义 的 MA 过 程 的 情况 下 ,模型 阶 数 为 KK。 在 式 (1.53) 定 义 的 ARMA 
过 程 的 情况 下 ,模型 阶 数 为 ( 难 , 玉 )。 模 型 定 阶 的 各 种 选择 原则 已 在 文献 中 (Priestley, 1981; 
Kay,1988) 介 绍 。 在 这 一 节 ,我 们 描述 两 个 重要 准则 ,一 个 由 Akaike(1973 ,1974) 提 出 , 另 一 个 由 
Rissanen(1978) 和 Schwartz(1978) 提 出 。 这 两 个 准则 都 用 信息 理论 得 出 结果 ,但 使 用 了 完全 不 同 
的 方法 。 


.1.10.1 信息 理论 标准 
ou, sui), i= 1;2,…5NV, 表 示 平 稳 离 散 时间 随 机 过 程 的 六 个 独立 观测 得 到 的 数据 ， 
glu) 表示 的 概率 密度 函数 。 设 fy (uw; lÔ ) 表 示 u 的 条 件 概率 密度 函数 ,并 给 定 用 于 对 过 
程 建 模 的 参数 估计 向 量 6,,。 设 m 为 模型 阶 数 , 则 可 以 写 出 
Ôm = [Âm zm +++ Om] (1.89) 
从 而 我 们 得 到 表示 感 兴趣 过 程 的 相互 竞争 的 若干 模型 。 用 Akaike 提出 的 信息 理论 标准 选择 


模型 ,使 得 
AIC(m) = -2L(0,,) + 2m (1.90) 


最 小 化 。 函 数 L(6,, ) 定义 为 
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N 
L(6,,) = max S In folu; Èm) (1.91) 
1 


AF In 表示 自然 对 数 。 式 (1.91) 所 示 准 则 是 通过 使 Kullback-Leibler 偏差 最 小 化 导出 的 ,该 
方法 可 用 来 为 未 知 真 实 概率 密度 函数 g(z) 与 根据 观测 值 由 模型 给 出 的 条 件 概率 密度 函数 
(ui16, ) 之 差 提供 一 种 度量 (方法 )。 

函数 LÂ ) 构 成 了 式 (1.90) 右 边 除了 标 度 因子 外 的 第 一 项 , 称 为 模型 参数 的 最 大 对 数 似 
然 估 计 ( 最 大 似 然 估 计 法 在 附录 D 中 简要 介绍 )。 第 二 项 2m 代表 模型 复杂 性 惩罚 (model com- 
plexity penalty) , 它 使 AIC( m ) 为 Kullback-Leibler 偏差 估计 。 

方程 中 的 第 一 项 容易 引起 模型 阶 数 m 迅速 下 降 。 另 一 方面 ,第 二 项 随 m 线性 增加 。 结 
果 是 ,如 果 画 出 AIC(m) 随 m 变化 曲线 ,一 般 来 说 ,该 图 将 给 出 明确 的 最 小 值 并 定 出 AIC(m) 取 
得 最 小 值 时 由 m 确定 的 模型 最 佳 阶 数 。 这 种 方法 称 为 MAIC( 最 小 AIC)。 


1.10.2 最 小 描述 长 度 准则 


Rissanen( 1978 ,1989) 采 用 一 种 完全 不 同 的 方法 来 解决 统计 模型 定 阶 问题 。 具 体 来 说 , 它 
出 自如 下 基本 思想 :模型 可 以 看 做 一 个 用 来 描述 一 组 观测 数据 规律 性 特征 的 装置 ,其 目标 是 寻 
找 一 个 模型 ,使 得 该 模型 最 能 捕获 这 些 特征 或 最 能 捕获 送 数据 给 特定 结构 的 那些 约束 条 件 。 
而 且 我 们 认为 ,约束 的 存在 降低 了 以 最 短 或 最 低 元 余 方 式 编码 的 数据 的 不 确定 性 。 这 里 所 说 
的 “编码 ”, 指 的 是 观测 值 的 精确 描述 。 因 此 ,编码 观测 值 ( 当 考 虑 模型 所 提供 的 约束 的 优点 时 ) 
和 模型 本 身 所 需 的 二 进 制 数 字 可 用 做 度量 相同 约束 量 的 准则 ,从 而 衡量 模型 的 好 坏 。 

于 是 ,Rissanen 的 最 小 描述 长 度 (MDL, minimum description lengith) 准 则 可 表述 如 下 ; 

给 定 一 组 感 兴趣 数据 和 一 族 竞争 统计 模型 ， 能 提供 对 数据 最 短 描述 长 度 者 即 最 佳 模型 。 


该 模型 可 用 数学 语言 定义 为 @ (Rissanen,1978,1989; Wax, 1995) 

MDL(m) = —L(6,,) + 5 min - (1.92) 
其 中 m 为 模型 中 独立 可 调 参 数 的 个 数 , N 为 样本 大 小 ( 即 观测 值 的 个 数 )。 采 用 Akaike 的 信息 
理论 准则 时 ,L(6,, ) 是 模型 参数 最 大 似 然 估计 的 对 数 。 比 较 式 (1.90) 和 式 (1.92) 可 以 看 出 ,AIC 


和 MDL 准则 的 根本 区 别 在 于 结构 依赖 方面 。 
根据 Rissanen(1989) ,MDL 准则 具有 如 下 优点 : 


© 模型 允许 对 观测 数据 最 短 编码 ,并 以 最 可 能 的 方式 获取 对 观测 数据 的 可 学 习性 。 





@ 在 Akaike(1973,1974,1977) 与 Ukych 和 Ooe(1983) 的 描述 中 , 式 (1.90) 的 推导 基于 下 式 的 最 小 期 望 原理 
Dyin) = f eu) mg) an — f” s) mol bn) 


我 们 称 D, | -(6,,) X Kullback-Leibler 偏差 ,用 来 区 分 g(u) 和 fu(w16,,) 这 两 个 概率 密度 函数 (Kullback & Leibler, 
1951)。 其 思想 是 把 将 时 间 序 列 建 模 为 AR MA 或 ARMA 有 限 阶 过 程 时 的 附加 信息 降 到 最 低 ,因为 现实 世界 的 任意 
附加 信息 事实 上 都 是 错误 信息 。 由 于 g(w) 是 固定 且 未 知 的 ,问题 就 变 为 求 组 成 Ds y(6, ) 的 第 二 项 的 最 大 值 。 

加 “单独 递归 可 定义 对 象 的 最 小 描述 长 度 的 思想 最 早 由 Kolmogorov(1968) 提 出 。 

© Schwarz(1989) 已 经 利用 Bayesian 方法 推出 了 类 似 的 结果 。 特 别 地 ,他 考虑 了 在 特殊 类 先 验 知识 情况 下 Bayes 估计 器 的 
渐 近 特性 。 这 些 先 验 知识 对 相应 于 竞争 模型 的 子 空间 强加 正 的 概率 , 并 通过 选择 获得 最 大 后 验 概率 的 模型 进行 判定 。 
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© MDL 准则 在 如 下 意义 上 是 一 个 模型 阶 数 一 致 估计 器 : 当 样 本 数 增加 时 , 它 收 敛 于 真实 模 
型 阶 数 。 
© 除了 ARMA 模型 外 ,在 线性 回归 范畴 内 ,MDL 模型 是 最 优 的 。 


也 许 要 注意 的 最 重要 的 一 点 是 :在 几乎 所 有 涉及 MDL 准则 的 应 用 中 ,未 见 文献 中 有 关 蜡 常 结 
果 或 不 希望 特性 模型 的 报道 (第 16 章 中 报道 了 一 个 特例 )。 


1.11 复 值 高 斯 过 程 


高 斯 随机 过 程 (或 简称 为 高 斯 过 程 ) ,在 理论 和 应 用 分 析 中 会 频繁 遇 到 。 在 本 节 , 列 出 了 复 
HO 高 斯 过 程 的 一 些 重 要 性 质 的 总 结 
设 x(z) 表 示 含 N 个 样本 的 复 值 高 斯 过 程 ,对 该 过 程 的 一 阶 和 二 阶 统计 ,假设 如 下 ; 
1) 均值 为 0, 即 
w=Elu(n)]=0 对 于 1,2,...,N (1.93) 
2) 自 相 关 函 表示 为 . 
r(k) = Elu(n)u*(n 一 k)] k=0,1,...,N -1 (1.94) 
自 相 关 函 数 集 {r(k) ,k=0,1,…,N -1 定义 了 高 斯 过 程 w(n) 的 自 相关 和 矩阵 R, 
通常 用 记号 NM (0,R) 表 示 上 共有 零 均值 向 量 和 相关 和 矩阵 为 R 的 高 斯 过 程 。 
式 (1.93) 和 式 (1.94) 隐 含 过 程 的 广义 平稳 性 。 均 值 x 和 不 同 延迟 下 自 相关 函数 r() 的 信 
息 足以 描述 复 值 高 斯 过 程 wx(m) 的 完整 特性 。 特 别 地 ,该 过 程 N 个 样本 的 联合 概率 密度 函数 
定义 为 (Kelly et al. ,1960) 


f,(a) x Au) (1.95) 


1 (-3 
~ 2r)" det(A) P7 
式 中 

u = [u(1), u(2),...,u(N)]” 


为 N x1 数据 向 量 ,A 是 过 程 的 Wx N 埃 尔 米 特 对 称 矩 矩阵 (moment matrix) , 按 相 关 和 矩阵 R = 
irCk)} EMA 


(1.96) 


注意 联合 概率 密度 函数 fu (vu) 是 2N 维 的 ,其 中 因子 2 表明 过 程 的 N 个 样本 的 每 一 个 都 有 实 
部 和 虚 部 。 也 应 注意 到 ,过 程 的 单个 样本 的 概率 密度 函数 由 下 式 给 出 


2 
fulu) = op(- er) (1.97) 


其 中 1w1 为 样本 w(n) 的 幅 值 ,o? 为 其 方差 。 
基于 上 面 的 描述 ,现在 可 以 总 结 出 零 均值 广义 平稳 高 斯 过 程 (nn) 的 一 些 重要 性 质 : 





O 复 值 高 斯 过 程 的 详细 介绍 见 Miller(1974) 的 书 。 复 值 高 斯 过 程 的 性 质 在 Kelly 35 (1960) . Reed( 1962) fi McGee( 1971 ) 
的 书 中 也 有 讨论 。 
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1) WH x(m) 是 严格 意义 上 的 平稳 随机 过 程 。 
2) 过 程 uw(n) 是 循环 复数 ,由 于 过 程 的 任意 两 个 不 同样 本 x(z) 和 uk) EAE 
Elu(n)u(k)]=0 nzk 
这 就 是 过 程 u(n) 通 常 称 为 循环 复 值 高 斯 过 程 的 原因 。 
3) Wu, = u(n)(n=1,2,…,NN) 表 示 零 均值 复 值 高 斯 过 程 的 样本 , 则 有 (Reed,1962) 


(a) 若 x17, 则 
Elutux ...u®u,u,, ... | =0 (1.98) 
其 中 Sj FIt, 是 从 可 用 集 和 ,2,…, 和 NI 取出 的 整数 。 
(b) 若 k=17, 则 


Elu*u® ... UŽ U, Uj, --- Uy,| = E| ust, JE [us Ur, a. Eļuž ptn] (1.99) 


其 中 x 为 整数 集 !{1,2,… ,让 的 排列 ,x()) 为 其 第 j 个 元 素 。 对 于 整数 集 |1,2,…, 1, 我们 总 共 
有 i 个 可 能 的 排列 。 这 意味 着 式 (1.99) 的 右边 包含 1! 个 期 望 值 乘积 项 相 乘 。 式 (1.99) 称 
为 高 斯 矩 分 解 定理 (Gaussian moment-factoring theorem) o 
例 2 考虑 N=3 的 奇数 情况 ,此 时 复 值 高 斯 过 程 u(n) 由 三 个 样本 ununu 组 成 。 使 用 式 
(1.98) 得 到 零 结 果 
El[lutut¥us] = 0 (1.100) 
再 考虑 N=4 的 偶数 情况 ,此 时 复 值 高 斯 过 程 &(zm) 由 四 个 样本 wi、us、u3、us 组 成 。 使 
用 式 (1.99) 给 出 的 高 斯 矩 分 解 定理 ,得 到 如 下 恒等式 
Elutu¥usus] = Elutus]E[utu,] + E[užu;]E[užu4] (1.101) 
(hE SM eB MRA ABSA TA Mi 13.) 


1.12 功率 谱 密 度 


在 第 1.1 节 中 定义 并 在 以 后 使 用 的 自 相关 函数 是 随机 过 程 二 阶 统 计 的 时 域 描述 。 该 统计 
参数 的 频 域 描述 即 为 功率 谱 密度 (power spectral density) ,也 称 为 功率 谱 (power spectrum) BR fal PK 
谱 。 实 际 上 ,随机 过 程 的 功率 谱 牢固 地 确立 了 其 作为 工程 和 物理 科学 常 遇 到 的 时 间 序 列 的 最 
有 用 描述 的 地 位 。 

为 了 着 手 定义 功率 谱 , 再 次 考虑 零 均值 自 相 关 函 数 为 r(1) (l=0, +1, +2,...) 的 广义 平 
稳 离散 时 间 随 机 过 程 。 设 无 限 长 时 间 序 列 u(n)(n =0, +1, +2,...) 表 示 该 过 程 的 单一 实现 。 
一 开始 ,我 们 将 注意 力 集中 于 加 窗 时 间 序 列 , 即 

_ Juln) n=0,+1,...,4N 
un(n) = f in| > N (1.102) 
然后 允许 长 度 2N + 1 趋向 无 穷 。 根 据 定 义 ,加 窗 时 间 序 列 uy (nr) HARRAH ERY 


N ` 
UN(w) = 之 un(me (1.103) 
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式 中 的 o JAME, WAAC- n, x]。 一般 来 说 , Uvw(o) 为 复 值 ;特别 地 KAREA 


N 
Un) = 之 ux(k)el@ (1.104) 


其 中 星 号 表示 复数 共 轿 运算 。 在 式 (1.104) 中 ,由 于 显而易见 的 原因 ,使 用 延迟 & 表示 离散 时 
间 。 特 别 地 ,将 式 (1.103) 乘 以 式 (1.104) 以 表示 Un(n) 的 平方 幅 值 


\Uy(@)/? -5 Sent) uğ (k) tO- (1.105) 


每 个 实现 Uy (nm) 都 产生 这 样 一 个 结果 。 对 式 (1.105) 两 边 取 统 计 期 望 并 交换 期 望 和 双 求 和 的 
顺序 , 即 得 到 期 望 的 结果 


N N 
E[|Uy(@)|7] = >, 之 Elun(n dub rye” (1.106) 


在 进行 线性 操作 时 人 允许 进行 这 样 的 交换 。 现 在 看 到 ,对 于 所 讨论 的 广义 平稳 离散 时 间 随 机 过 
fe, SERA n- k Muy (n) BAK RN 

ry(n — k) = Eluy(n)uk(k) | (1.107) 
按照 式 (1.102) 中 的 定义 ,也 可 以 将 其 写成 如 下 形式 


ry(n — k) = [lwt] =r(n—k) am s(n, k) SN (1.108) 
相应 地 , 式 (1.106) 取 为 
N N 
Bo 站 = > Sn keee (1.109) 
Wl=n-k, WHBR(1.109) 4H 
二 EllovtojP] = > (1 - Arae -jol (1.110) 


式 (1.110) 可 以 看 成 两 个 时 间 函 数 [时 延 为 1 的 自 相关 函数 rv(1) 和 称 为 Bartlett 窗 的 三 角形 窗 
函数 ] 的 乘积 的 离散 时 间 传 里 时 变换 。Bartlett 窗 定义 为 


y 
w,(1) = i ~-w "SN (1.111) 
0 | >N 
当 N 趋向 无 穷 大 时 ,对 所 有 L, ws(1) 趋 向 1。 相 应 地 ,可 以 写 出 如 下 结果 
dim, io EllUw(o)P ]= È re (1.112) 


式 中 xD 为 原始 时 间 序列 w(n) 的 自 相 关 函 数 。 确 切 地 说 , 式 (1.112) 成 立 于 条 件 
| 1 Q “al 
PRIN ri = 0 
式 (1.112) 可 引导 我 们 定义 如 下 物理 量 


S(w) = jim. x E||Uy(o)/"] (1.113) 
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FB | Uy (co) P/N 称 为 加 窗 时 间 序 列 uy(n) 的 周期 图 (periodogram)。 注 意 ,统计 期 望 的 阶 数 
和 式 (1.113) 中 的 极限 符号 不 能 改变 。 同 时 还 要 注意 ,周期 图 收敛 于 S(w), 它 只 是 均值 ,而 不 
是 均 方 值 或 其 他 意义 上 的 平均 值 。 
当 式 (1.113) 中 的 极限 存在 时 , S(w) 上 共有 如 下 解释 (Priestley，1981) 
S(w)d(w) =w 与 w+ dw 之 间 广 义 平稳 随机 过 程 各 分 量 功率 成 分 的 平均 (1.114) 
因此 ,5S(w) 为 “期 望 功率 的 谱 密 度 ”, 简 称 为 过 程 的 功率 谱 密 度 。 于 是 ,利用 式 (1.113) 给 定 的 
功率 谱 密度 定义 ,可 以 将 式 (1.112) 重 写 为 
Slo) = Sire (1.115) 


[= 一 co 
总 之 , 式 (1.113) 给 出 了 广义 平稳 随机 过 程 的 功率 谱 密 度 的 基本 定义 。 式 (1.115) 定 义 了 该 过 
程 自 相关 函数 和 功率 谱 密 度 之 间 的 数学 关系 。 


1.13 功率 谱 密 度 的 性 质 


性 质 1 广义 平稳 随机 过 程 的 自 相关 男 数 与 功率 谱 密 度 组 成 了 一 个 傅 里 叶 变 换 对 。 


考虑 由 时 间 序 列 &(m) 表 示 的 广义 平稳 随机 过 程 ,假设 该 过 程 为 无 限 长 度 。 设 r( 1) 表示 
延迟 为 1 的 过 程 的 自 相关 函数 ,S(ow) 为 过 程 的 功率 谱 密度 。 根 据 性 质 1, 这 两 个 物理 量 之 间 的 
关系 是 一 个 关系 对 


Slo) = X r(e -t < ow 扫 区 (1.116) 
[= 一 oo 
和 
D= f stodo 1 = 0,21,42,.. (1.117) 


式 (1.116) 指 出 功率 谱 密度 是 自 相 关 函 数 的 离散 傅 里 叶 变 换 。 另 一 方面 , 式 (1.117) 说 明 自 相 
关 函 数 是 功率 谱 密 度 的 离散 傅 里 叶 反 变换 。 这 对 基本 方程 构成 了 爱 因 斯 坦 - 维 纳 - 克 欣 契 因 关 
系 (Einstein-Wiener-Khintchine relations) ,简称 EWK 关系 。 

用 某 种 方法 ,我 们 已 经 证 明了 这 个 性 质 。 具 体 来 说 , 式 (1.116) 仅 仅 是 上 一 节 确 立 的 式 
(1.115) 的 重 述 。 式 (1.117) 通 过 引用 离散 健 氏 反 变 换 公式 直接 从 该 结果 导出 。 


性 质 2 ”功率 谱 密度 S(w) 的 频率 支撑 是 Nyquist H -r< ws 
在 这 个 间隔 之 外 , S(w) 是 周期 性 的 , 即 
Slo + 2kn) = S(w) 对 于 整数 大 (1.118) 
性 质 3 ”离散 时 间 随 机 过 程 的 功率 谱 密度 是 实数 。 | 
为 了 得 到 这 个 性 质 ,我 们 重 写 式 (1.116) 为 
S(w) = r(0) + Sri + > r(k)e tok 


将 右边 第 三 项 中 的 上 换 成 - ,并 利用 r(- hk) = r (k), BN 
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S(w)] = r(0) + S [rk Jek + r*(k)eiet] 


k=1 
= r(0) +2) Refr(k)e*] 
AF Re 表示 取 实 部 运算 符 。 式 (1.119) 表 明 功率 谱 密度 So) Eo 的 实 函 数 。 正 是 由 于 这 个 
性 质 ,我 们 经 常 使 用 S( - ww) 而 不 是 S(e”") 来 表示 功率 谱 密度 。 


性 质 4 实 值 广义 平稳 离散 时 间 随 机 过 程 的 功率 谱 密 度 ( 函 数 ) 是 偶 函 数 ( 即 对 称 的 ); 如 
果 过 程 是 复 值 的 , 则 其 功率 谱 密度 就 不 是 偶 函 数 。 


对 于 实 值 随机 过 程 ,我 们 发 现 S( - w) = S(w). 这 意味 着 Slo) w 的 偶 函 数 , 即 关 于 原 
所 对 称 。 如 果 过 程 是 复 值 的 , 即 r- k)= r (k), ETER S- w) # S(w), H Slo) RE w 
的 偶 函 数 。 | 


ERS 平稳 离散 时 间 随 机 过 程 的 均 方 值 等 于 1/2r 乘 以 -rx< w<r 范 围 内 功率 谱 密 度 曲 
线 所 围 面积 。 


这 个 性 质 可 直接 从 1=0 时 的 式 (1.117) 导 出 。 根 据 这 个 条 件 ,我 们 可 以 写 出 
r(0) = + [sa (1.120) 


由 于 r(0) 等 于 过 程 的 均 方 值 ,可 以 看 出 , 式 (1.120) 是 性 质 5 的 数学 描述 ,过 程 的 均 方 值 等 于 负 
载 为 1 欧姆 电阻 时 过 程 的 期 望 功率 。 在 这 个 基础 上 ,期 望 功率 "和 * 均 方 值 "在 下 面 的 叙述 中 
-可 以 互 换 。 


性 质 6 平稳 离散 时 间 随 机 过 程 的 功率 谱 密 度 非 负 。 
这 个 性 质 意 指 


(1.119) 


S(@)>0 HAE w (1.121) 
它 可 直接 从 式 (1.113) 的 基本 公式 中 导出 ,为 便于 表示 重 写 如 下 

S(w) = Jim, i E[|Uy(o)P] 
首先 应 注意 到 ,| Uy (co) |? 表示 时 间 序列 u Cr) VBR RS HRS RETE WEP, 


它 对 所 有 o WAER. WA ELI Ur(w)1 同样 对 所 有 o 都 非 负 。 因 此 ,利用 由 Un (w) 表 示 的 
5S(w) 的 基本 定义 可 立即 得 出 式 (1.121) 所 述 性 质 。 


1.14 平稳 过 程 通过 线性 滤波 器 传输 


考虑 一 个 线性 时 不 变 和 稳定 的 离散 时 间 滤 波 器 。 设 滤波 器 由 离散 转移 函数 HER, 
H(z) 定 义 为 滤波 器 输出 的 z 变换 与 滤波 器 输入 的 z 变换 的 比值 。 假 设 把 功率 谱 密 度 为 S(w) 
的 平稳 离散 时 间 随 机 过 程 输入 滤波 器 ,如 图 1.11 所 示 。 又 设 $.(w) 表 示 滤 波 器 输出 的 功率 谱 

密度 , 则 可 以 写 出 
Sw) = |H(e”)?S(w) (1.122) 
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AP He! ) 为 滤波 器 的 频率 响应 , 即 离散 转移 函数 有 H(z) 在 xz 平 面 单位 圆 上 的 值 。 该 结果 的 
重要 特征 在 于 角 频 率 为 o 的 输出 谱 密 度 值 完全 由 滤波 器 的 振幅 特性 的 平方 和 角 频 率 为 的 
输入 功率 谱 密 度 决定 。 


具有 功率 具有 功率 
谱 S (w) 离散 时 间 线 谱 So(w) 
的 平稳 过 程 性 滤波 器 的 平稳 过 程 


图 1.11 通过 离散 时 间 线 性 滤波 器 传输 平稳 过 程 
式 (1.122) 是 随机 过 程 理论 中 的 一 个 基本 关系 。 为 得 到 这 个 式 子 ,我们 进行 如 下 步 又: 设 


y(n) 表 示 图 1.11 中 由 输入 u(n) 产 生 的 滤波 器 输出 。 我 们 发 现 y(m) 也 是 一 个 可 由 滤波 运算 
修正 的 广义 平稳 离散 时 间 随 机 过 程 。 因 此 ,给 定 滤波 器 输入 端的 自 相关 函数 , 即 


nll) = Elu(n)u*(n — 1)] 
我 们 可 以 将 滤波 器 输出 y(z) 的 自 相 关 函 数 用 相应 的 方法 表示 为 
r(l) = Ely(n)y*(n — 2] (1.123) 
其 中 y(n) 5 uw(n) 之 间 的 关系 可 表示 为 卷 积 和 的 形式 
= > h(i)u(n — i) (1.124) 
类 似 地 ,可 以 写 出 如 下 式 子 
y*(n — 1) -> h*(k)u*(n — l — k) (1.125) 


将 式 (1.124) 01.125) LARK (1. 123) F , FF CER ATOR A OR, A SE Kr, (1) FO 
r (1) OBER 站 之 间 的 关系 为 


nl) = È Eade ~ 7+ 1 (1.126) 


最 后 ,对 式 (1.126) 两 边 同 时 取 离 散 傅 里 叶 变 换 , 并 引用 功率 谱 密 度 的 性 质 1 以 及 线性 滤波 器 
的 转移 函数 等 于 其 脉冲 响应 的 傅 里 叶 变 换 这 一 事实 , 即 得 式 (1.122) 的 结果 。 


1.14.1 功率 谱 分 析 仪 
假设 图 1.11 中 的 离散 时 间 滤 波 器 设计 成 具有 带 通 特性 , 即 滤波 器 的 幅度 响应 定义 为 


jo)| — 1 lo — o| < Aw 

ee) t 区 间 -E < w < 的 剩余 部 分 
该 幅度 响应 如 图 1.12 所 示 。 再 假设 滤波 器 的 角 频 率 宽度 为 2Aw , 它 取 足够 小 以 使 得 其 内 部 的 

频谱 为 常数 。 然 后 ,利用 式 (1.122) 可 以 写 出 : 

Slo) = {je lo 一 wl < Aw 

o 0 区 间 —n < w < x 的 剩余 部 分 

其 次 ,利用 功率 谱 密 度 的 性 质 4 和 性 质 5, 可 将 实 随机 输入 得 到 的 滤波 器 输出 的 均 方 值 表示 为 


(1.127) 


(1.128) 
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2r) - 
= es(w ) + ae we ) 


- 282 Slow) (对 实数 据 ) 
等 价 地 ,可 写 出 





(1.129) 


式 中 Aw/x 为 对 应 于 滤波 器 通 带 的 分 数 倍 Nyquist 间隔 。 式 (1.129) 表 明 , 在 中 心 频率 w, 处 测 
出 的 滤波 器 输入 wu(n) 的 功率 谱 密 度 值 ,等 于 滤波 器 输出 的 均 方 值 P, 乘 以 一 个 常数 因子 。 因 
此 , 式 (1.129) 可 作为 构建 功率 谱 分 析 仪 的 数学 基础 ,如 图 1.13 所 示 。 在 理想 情况 下 ,此 处 采 
用 的 离散 时 间 带 通 滤波 器 应 该 满足 两 个 要 求 : 即 应 该 具有 固定 带宽 和 可 调 中 心 频率 。 很 明显 ， 
在 实际 的 滤波 器 设计 中 ,我 们 只 能 逼近 这 两 个 理想 要 求 。 另 外 必须 注意 到 ,图 中 输出 端 平均 功 
率 计 读数 仅仅 是 有 限 平 均 时 间 内 各 态 历经 过 程 y(n ) 的 期 望 功 率 的 近似 值 。 


lA(e!*)I 


1 





图 1.13 功率 谱 分 析 器 


例 3 Glas 
如 果 一 个 零 均 值 随机 过 程 的 功率 谱 密 度 对 所 有 频率 都 为 常数 , 即 
S(w)=o 对 -rn <w&x 
其 中 o 为 过 程 的 一 个 样本 的 方差 , 则 该 过 程 称 为 白 品 声 。 设 该 过 程 通过 图 1.12 中 所 示 
的 离散 带 通 滤波 器 , 则 由 式 (1.129) 可 知 ,滤波 器 输出 的 均 方 值 为 


P, = 20° Aw 


白 品 声 具有 任意 两 个 样本 都 不 相关 的 性 质 ,用 自 相 关 函 数 表示 为 


r(r)=0 ðo 
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其 中 Go 为 Kronecker-6 Bak 


5 -| t=0 

”lo 其 他 
车 白 噪 声 是 高 斯 白 噪声 , 则 该 过 程 任意 两 个 样本 是 统计 独立 的 。 从 某 种 意义 上 说 ,高 斯 噪 
声 表 示 了 最 大 随机 性 。 


1.15 平稳 过 程 的 Cramér 谱 表 示 


式 (1.113) 提 供 了 确定 广义 平稳 过 程 功 率 谱 密度 的 一 种 方法 。 另 一 方法 是 使 用 平稳 过 程 
的 Cramér 谱 表 示 。 根 据 该 表示 法 ,离散 随机 过 程 u( nn) 可 用 健 里 叶 反 变换 描述 为 (Thomson, 
1982) 
u(n) = + fe dZ (w) (1.130) 
如 果 该 过 程 xz(>) 为 没有 周期 分 量 的 广义 平稳 过 程 , 则 增 量 过 程 (inerement process)dZ(w) 具 有 
如 下 基本 性 质 : 
1) dZ(w) 的 均值 为 0, 即 


E[dZ(w)|=0 HFE w (1.131) 
2) 广义 谱 密 度 可 依据 增 量 过 程 表示 为 
E| dZ (w) dZ* (v)] = S(o)8(o — v) dwdv (1.132) 
6(w) 是 w 域 中 的 8 函数 , 且 对 于 一 个 连续 函数 G(w), 它 满足 如 下 筛选 特性 (sifting 
property) 
= [owe - v)dv = G(w) (1.133) 


换 句 话说 ,对 于 广义 平稳 离散 随机 过 程 uw(n), 由 式 (1.130) 定 义 的 增 量 过 程 dZ (w) 是 一 个 零 
均值 正 交 过 程 。 更 确切 地 说 ,dZ(w) 可 看 做 以 类 似 于 时 域 中 描述 普通 白 噪 声 的 方法 在 频 域 中 
描述 的 白 噪 声 过 程 。 

式 (1.133) 连 同 式 (1.132) ,为 功率 谱 密 度 S(w) 提 供 了 另 一 个 基本 定义 。 对 式 (1.130) 两 
WS GEE v 代替 ww ,可 得 


u*(n) 一 元 feo dZ* (v) (1.134) 
因此 ,用 式 (1.134) 乘 以 式 (1.130) ,可 将 u(n) 的 平方 幅 值 表示 为 
lu(n)P = axl [rome ” dZ (w) dZ* (v) (1.135) 


其 次 ,对 式 (1. SL RACER 与 双 积 分 的 顺序 ， 即 得 
E[|u(m)|} 





* jne- JE[dZ (w) dZ* (»)] (1.136) 
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BRAVERY 132) UAC 193) BESTE dZ(o) 的 基本 性 质 ,可 将 式 (1.136) 简 化 为 
E{\u(n)|] = 去 [ So) do (1.137) 


式 (1.137) 左 边 的 期 望 [1u(n)1?] 称 为 vaya bt 右边 等 于 功率 谱 密度 S(w) HAF 
面 的 面积 乘 以 因子 1/2x。 相 应 地 , 式 (1.137) 只 是 式 (1.120) 描 述 的 功率 谱 密 度 S(w) 的 性 质 5 
的 重 述 。 
1.15.1 基本 方程 

用 空 变量 vy RËRA. 190) Games RR w, 并 将 结果 代入 式 (1.103) 中 ,我 们 得 到 


Lv(w) = “Sc (e=) AZ (v) (1.138) 


=r n= 


其 中 我 们 交换 了 累加 和 积分 的 次 序 。 然 后 ,定义 
Ky(@) = > een (1.139) 


CRRA Dirichlet $% (Dirichlet kemel). HK Ky(w) 表 示 首 项 为 oe**、 公 比 为 e BURA 
2N + 1 的 几何 级 数 。 为 了 求 这 个 级 数 之 和 ,我 们 可 重新 定义 这 个 核 为 
eioN(1 _ eFw(2N+1)) 
sin((2N + 1)w/2) 

sin (w/2) 
注意 Ky(0) =2N + 1。 回 到 式 (1.138) ,我 们 可 利用 式 (1.139) 中 给 出 的 Dirichlet 核 Ky (w ) 的 定 
义 将 式 (1.138) 写 为 


Kn(w) = 
(1.140) 


Un(w) = 元 z [kve — v)dZ(v) (1,141) 


上 式 是 一 种 线性 关系 , 称 为 功率 谱 分 析 的 基本 方程 。 
一 个 积分 方程 即 在 积分 符号 下 包含 一 个 未 知 函 数 。 在 式 (1.141) 所 述 功率 谱 分 析 范 围 内 ， 
增 量 dZ(w) 是 一 个 未 知 函 数 , wy(ow) 是 已 知 的 。 故 该 方程 可 看 做 第 一 类 弗 雷 德 替 尔 姆 积分 方 
程 (Fredholm integral equation of the first kind) 的 一 个 例子 (Morse & Feshbach, 1953; Whittaker & 
Watson, 1965). 
注意 , Uy (o) P DAES EY ER ER SRE OT HE , Uy (w) 是 确定 功率 谱 密 度 
的 一 个 足够 的 统计 量 。 这 个 性 质 使 得 运用 式 (1.141) 进 行 谱 分 析 显 得 更 加 重要 。 


1.16 功率 谱 估 计 


有 实际 重要 性 的 一 个 问题 是 如 何 估计 广义 平稳 过 程 的 功率 谱 密度 。 遗 憾 的 是 ,这 个 问题 
. 是 很 复杂 的 ,由 于 存在 一 系列 令 人 迷惑 不 解 的 功率 谱 估计 方法 ,而 且 每 个 方法 都 声称 具有 或 表 
现 出 某 些 最 优 性 质 。 更 糟 的 是 , 除非 小 心地 选择 正确 的 方法 , 否则 可 能 得 到 误导 的 结论 。 

两 种 原理 上 不 同族 的 功率 谱 估计 方法 在 文献 中 被 标记 为 参数 法 和 非 参 数 法 。 这 些 方 法 的 
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基本 思想 将 在 下 文中 讨论 。 
1.16.1 参数 法 


在 谱 估 计 的 参数 法 中 ,我们 从 假定 手头 掌握 的 代表 这 种 情况 的 某 一 随机 模型 出 发 。 取 决 
于 采用 的 特殊 模型 ,容易 区 别 三 种 不 同 的 参数 法 谱 估计 。 


(1) 模型 辨识 法 (model-identification procedure) ”在 这 类 参数 法 中 ,假设 模型 的 转移 函数 是 
一 个 关于 e 六 的 有 理 函 数 或 多 项 式 , 白 噪声 源 用 来 激励 该 模型 ,如 图 1.14 所 示 。 所 
产生 的 模型 输出 功率 谱 提供 了 所 期 望 的 谱 估计 。 取 决 于 感 兴趣 的 应 用 ,可 采用 下 列 
模型 之 一 (Kay & Marple, 1987; Marple, 1987; Kay, 1988) : 

(i) 具有 全 极点 转移 函数 的 AR 模型 ; 
(ii) 具有 全 零点 转移 函数 的 MA 模型 ; 
(iii) 具有 零 极 点 转移 函数 的 ARMA 模型 。 







等 均值 和 由 转移 函数 H(ej%) 有 理 功率 谱 
方差 为 22 表征 的 过 程 4(n) X AH (eje) 
的 白 噪声 的 参数 化 过 程 


图 1.14 功率 谱 估计 模型 辩 识 法 示意 图 


在 这 些 模型 输出 端 所 测 得 的 功率 谱 分 别称 为 AR 谱 、MA 谱 和 ARMA 谱 。 利 用 式 
(1.122) 的 输入 输出 关系 , 设 模 型 输入 的 功率 谱 S$(w) 等 于 白 品 声 的 方差 o, WaR HE 
模型 输出 端的 功率 谱 5,(w) 等 于 平方 幅度 响应 1H(e* )1? RA a。 问题 变 为 估计 模 
型 参数 [ 即 参 数 化 转移 函数 了 H(e”* ) ] ,以 使 得 模型 输出 端 所 产生 的 过 程 在 某 种 统计 意 
义 上 为 研究 中 的 随机 过 程 提供 一 个 可 接受 的 表示 。 这 样 一 种 功率 谱 估 计 实 际 上 可 看 
做 模型 (系统 ) 辩 识 问题 。 在 这 里 所 定义 的 依赖 模型 的 谱 中 ,AR 谱 最 流行 。 原 因 有 两 
点 :1) 包 含 未 知 AR 模型 参数 的 联 立 方程 组 具有 线性 形式 ;2) 存在 求解 的 高 效 算法 。 
(2) 最 小 方差 无 失真 响应 法 (MVDR, minimum-variance distortionless response method) ”为 了 
描述 功率 谱 估 计 的 第 二 种 参数 法 ,考虑 图 1.15 所 示 的 情形 。 过 程 u(n) 被 加 到 一 个 
横向 滤波 器 (一 个 具有 全 零点 转移 函数 的 离散 时 间 滤 波 器 )。 在 MVDR 法 中 ,选择 滤 
波 器 系数 ,使 得 在 某 些 角 频 率 op 处 滤波 器 频率 响应 等 于 1 的 约束 下 滤波 器 输出 方差 
(该 方差 相同 于 零 均 值 过 程 的 期 望 功率 ) 最 小 。 在 这 个 约束 下 ,过程 u(n) 以 角 频 率 
wo 无 失真 通过 滤波 器 ,而 wo 以 外 的 信和 号 被 衰减 掉 。 
在 某 个 角 频 率 wo RAK 


过 程 真 响应 约束 的 最 优 
u(n) 横向 滤波 器 


等 于 过 程 4(n)MVDR 
谱 的 功率 谱 残 差 过 程 





图 1.15 功率 谱 估计 MVDR 法 示意 图 
(3) 基于 特征 分 解法 (eigendecomposition-based method) 在 这 最 后 一 种 参数 谱 估计 法 中 ,过 
程 uw(n ) 集 平均 相关 和 矩阵 R 的 特征 分 解 通常 把 信息 空间 分 为 两 个 独立 的 子 空间 :信号 
子 空间 和 噪声 子 空间 。 这 种 分 解 方法 可 用 来 导出 一 个 适当 的 算法 以 便 估 计 功 率 谱 
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(Schmidt, 1979, 1981) (特征 分 析 和 子 空间 分 解 概 念 将 在 附录 E 中 讨论 )。 
1.16.2 非 参数 法 


在 非 参数 法 功率 谱 估 计 中 ,没有 对 研究 的 随机 过 程 做 假设 。 讨 论 的 出 发 点 是 基本 方程 
(1.141)。 依 据 解释 该 方程 的 方法 不 同 ,我 们 可 以 区 分 出 两 种 不 同 的 非 参数 法 : 


1) 周期 图 法 ”传统 上 ,把 基本 方程 (1.141) 看 做 两 个 频率 函数 的 卷 积 。 其 一 ,函数 U(w) 
表示 无 限 长 时 间 序 列 fu(z)i 的 离散 傅 里 叶 变换 ; 该 函数 源 于 增 量 变量 dZ(w) 作 为 
U(w) 与 频率 增 量 do 乘积 的 定义 。 另 一 个 频率 函数 是 式 (1.140) 定 义 的 核 Ky (w)。 
这 个 方法 引导 我 们 将 式 (1.113) 看 做 功率 谱 密度 5(w) 的 基本 定义 ,从 而 将 周期 图 
| Uy (co) VN 作为 数据 分 析 的 出 发 点 。 但 是 ,由 于 周期 图 不 是 功率 谱 密 度 的 充分 统计 
而 受到 一 系列 限制 。 其 实质 是 因为 在 周期 图 法 中 忽略 了 相位 信息 的 使 用 。 因 此 ,周期 
图 法 的 统计 不 充分 性 为 所 有 基于 或 等 效 于 周期 图 法 的 方法 所 固有 。 

2) 多 窗口 法 “一 个 更 有 建设 性 的 非 参数 法 是 将 基本 方程 (1.141) 看 做 增 量变 量 dZ(w ) 的 第 
一 类 弗 雷 德 替 尔 姆 积分 方程 ,其 目的 是 用 统计 性 质 获得 在 某 种 意义 上 接近 于 dZ(w) 的 近 
似 解 (Thomson，1982)。 达 到 这 个 重要 目标 的 关键 是 使 用 由 一 组 特殊 序列 (如 Slepian 序 
列 0 或 称 为 离散 长 球面 序列 ) 定 义 的 窗口 。 这 些 序列 是 研究 时 间 受 限 或 频率 受 限 系统 的 
基础 。 这 族 窗 口 的 著名 性 质 是 它们 的 能 量 分 布 以 一 种 特殊 的 方法 相 加 ,该 方法 共同 定义 
了 一 个 理想 的 (从 库 内 相当 于 库 外 总 能 量 集中 的 意义 上 ) 和 矩形 频率 柜 (bin)。 这 个 性 质 也 
允许 我 们 用 谱 分 辨 率 来 换取 谱 特性 的 改善 (如 降低 谱 估计 的 方差 )。 


一 般 来 说 ,离散 随机 过 程 w(n) 具 有 一 个 混合 谱 ,其 功率 谱 包 含 两 个 分 量 : 确 定性 分 量 和 
连续 分 量 。 前 者 表示 增 量 过 程 4Z(o) 的 一 阶 矩 ,并 可 由 下 式 显 式 给 出 


E[dZ(w)] = 之 oilw 一 wi) dw (1.142) 


其 中 5(w) 为 频 域 中 的 迪 拉 克 (Dirac)6 函数。 为 过 程 w(n) 包 含 的 周期 性 分 量 或 线性 分 量 
的 角 频 率 , wx 为 其 幅度 。 另 一 方面 ,连续 分 量 表示 增 量 过 程 的 二 阶 中 心 矩 , 即 
E[|dZ(w) — 五 dZ(o)] 扑 (1.143) 

FF SATE FS — YA ERARE, 

用 参数 法 计算 得 到 的 谱 比 用 非 参数 法 (经 典 法 ) 得 到 的 谱 一 般 具 有 更 陡峭 的 峰值 和 更 高 的 
分 辨 率 。 因 此 ,应 用 参数 法 更 适合 于 估计 确定 性 分 量 。 而 且 特 别 地 ,在 信 品 比较 高 时 ,这 些 方 
法 常用 来 定位 加 性 噪声 中 周期 性 确定 性 分 量 的 频率 。 另 一 种 已 被 证 明 的 确定 性 分 量 估计 技术 
是 经 典 的 最 大 似 然 法 (前 面 已 经 提 到 过 ,附录 D 将 简要 介绍 最 大 似 然 估计 )。 当 然 , 如 果 支 配 
一 个 过 程 发 生 的 物理 定律 以 精确 的 方式 或 某 种 统计 意义 上 的 近似 方式 匹配 一 个 随机 模型 (如 
AR 模型 ) , 则 对 应 于 该 模型 的 参数 法 可 以 用 来 估计 该 过 程 的 功率 谱 。 但 如 果 感 兴趣 的 随机 过 
程 只 有 连续 功率 谱 而 且 不 知道 产生 该 过 程 的 物理 机 制 , 则 推荐 人 们 使 用 多 窗口 非 参 数 法 。 

本 书 集中 讨论 了 第 一 类 和 第 二 类 谱 估 计 参 数 法 ,这 是 因为 其 理论 很 自然 地 与 自 适应 滤波 





© ”Slepian 序列 的 详细 信息 在 Slepian(1978) 的 论文 中 给 出 。 计 算 这 种 长 数据 长 度 序列 的 方法 在 Thomson (1982) 论 文 的 
附录 中 给 出 。[ 其 他 信息 , 见 Thomson 的 论文 ; Mullis 和 Schad(1991) 也 在 频谱 分 析 中 讨论 了 Slepian 序列 的 作用 。] 
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BEALE NEO, 
1.17 随机 过 程 的 其 他 统计 特征 


迄今 为 止 在 所 讨论 的 内 容 中 ,我 们 将 注意 力 集中 于 离散 随机 过 程 的 局 部 特性 上 。 根 据 这 
种 特殊 性 质 ,只 需要 将 均值 指定 为 过 程 的 一 阶 矩 ,并 把 它 的 自 相 关 函 数 指定 为 二 阶 矩 。 由 于 自 
相关 函数 和 功率 谱 密度 形成 一 傅 里 叶 变换 对 ,我 们 可 以 等 效 地 用 功率 谱 密度 取代 自 相 关 函 数 。 
使 用 第 1.1 节 到 第 1.14 节 描 述 的 二 阶 统计 量 ,适合 于 研究 教师 监督 下 的 线性 自 适应 滤波 器 工 
作 原 理 。 但 是 , 当 我 们 进行 到 本 书后 面 以 便 考虑 困难 应 用 (例如 讶 反 卷 积 ) 时 ,必须 求助 于 使 用 
随机 过 程 的 其 他 统计 特性 。 

能 给 我 们 带 来 随机 过 程 附加 信息 的 随机 过 程 的 两 个 特殊 性 质 (这 些 性 质 在 盲 反 卷 积 的 研 
究 中 已 被 证 明 是 有 用 的 ) 如 下 : 


1) 高 阶 统计 量 (HOS, high-order statistics) ”扩展 平稳 随机 过 程 特性 的 明显 方法 就 是 包含 过 
程 的 高 阶 统计 量 。 这 可 通过 引 人 和 人 累积 量 及 其 传 里 叶 变换 ( 称 为 多 谱 ) 来 获得 。 实 际 上 ， 
零 均值 随机 过 程 的 累积 量 (cumulant) 和 多 谱 (polyspectra) 可 被 分 别 看 做 自 相关 函数 和 功 
率 谱 密度 的 推广 。 重 要 的 是 ,应 注意 到 高 阶 统计 量 仅 在 非 高 斯 过 程 范围 内 才 有 意义 。 
更 进一步 ,为 了 利用 非 高 斯 过 程 或 高 阶 统计 量 ,我 们 需要 利用 某 些 形式 的 非 线性 滤波 。 

2) 循环 平稳 特性 (cyclostationarity) ”在 实际 中 我 们 常常 遇 到 的 一 类 重要 随机 过 程 中 , 过 程 
的 均值 和 自 相关 函数 呈现 周期 性 ,如 对 所 有 t At, 有 如 下 关系 


w(t, + T) = p(t) (1.144) 
和 
r(t + T, + T) = rth) (1.145) 


其 中 ot, 和 t, 表示 连续 时 间 变 量 上 的 值 ,7 表示 周期 。 满 足 式 (1.144) 和 式 (1.145) 的 随 
机 过 程 在 广义 上 说 它 是 循环 平稳 的 (Franks，1969; Gardner & Franks，1975; Gardner， 
1994a,b)。 将 随机 过 程 建 模 为 具有 循环 平稳 性 ,需要 把 一 个 新 的 维 数 ( 即 周期 了) 增加 
到 过 程 的 局 部 描述 中 。 循 环 平稳 过 程 的 例子 包括 通过 改变 幅度 、 相 位 或 正弦 载波 频率 
而 获得 的 调制 过 程 。 注 意 ,不 像 高 阶 统计 ,人 们 可 借助 线性 滤波 方法 来 开发 利用 循环 
平稳 特性 。 


在 第 1.18 节 和 第 1.19 节 中 ,我 们 将 讨论 随机 过 程 的 这 两 种 特殊 方面 , 即 多 谱 和 谱 相 关 密 
度 。 上 面 已 经 提 到 过 ,多 谱 提 供 了 平稳 随机 过 程 的 高 阶 统计 的 频 域 描述 。 类 似 地 , 谱 相 关 密 度 
提供 了 循环 平稳 随机 过 程 的 频 域 描述 。 

1.18 多 谱 


FIBER AY ML. Ru(n), u(nt+7),...,u(n+ t) 分 别 表示 在 时 刻 n, 





D 关于 谱 分 析 的 其 他 方法 , 见 Gardner(1987)、Marple(1987) , Kay( 1988) .Thomson(1982) 以 及 Mullis 和 Scharf(1991) 。 
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n+ Tt. + Ti1 获 得 的 该 过 程 的 观测 值 。 这 些 随 机 变量 组 成 有 x1 向量 
u = [u(n),u(n + 71),..., u(n + m- 
相应 地 ,定义 x1 疝 量 
z = [zzz 
则 我 们 可 以 定义 u(n) 第 个 阶 累积 量 ,表示 为 elti, Tas... Ti- ,作为 累积 量 生成 函数 泰 
勒 展开 式 中 向 量 z 的 系数 (Priestley, 1981 ;Swami & Mendel, 1990; Gardner, 1994a, b) , BP 
K(z) = InElexp(z7u)| (1.146) 
于 是 ,过 程 x(*) 的 大 阶 累 积 量 可 按照 最 高 阶 数 为 下 阶 的 联合 矩 来 定义 ;为 了 简化 表示 , 设 
&(7) 为 实 值 的 。 特 别 地 ,二 阶 、 三 阶 和 四 阶 累积 量 分 别 定 义 为 
c(t) = Elu(n)u(n + 7)] (1.147) 
c(71, 72) = Elu(n)u(n + 7,)u(n + 7)] (1.148) 


c4(T1, 72,73) = Elu(n)u(n + 7,)u(n + 72)u(n + 73)] 
— Elu(n)u(n + 7,)\E[u(n + 7,)u(n + 73)] 
— Elu(n)u(n + 72)|E[u(n + 73)u(n + 71)] 
— Elu(n)u(n + 73) ]E[u(n + 7)u(n + 72)] 
根据 式 (1.147) ~ 式 (1.149) 的 定义 ,我 们 注意 到 以 下 几 点 : 

1) 二 阶 累积 量 cx(r) 和 自 相 关 函 数 r(r) 一 样 ; 

2) 三 阶 累积 量 cs (rt t) MENE Eluln)uln+ti)uln + r) ]— +E; 

3) 四 阶 累 积 量 cs(r, ra,rs ) 和 四 阶 矩 Eluln)uln+rti)uln+r,)uln + Tt)] 不 一 样 。 

APOE Gt FA AES ,需要 知道 四 阶 徐 和 自 相 关 函 数 的 6 个 不 同 值 。 


注意 ,第 上 个 阶 累积 量 c(z ,7 ,.. ,rm-i) 并 不 依赖 于 时 间 =。 为 了 使 之 有 效 , 过 程 u(n) 
必须 是 天 阶 平 稳 的 。 如 果 对 于 任意 允许 的 时 间 集 mm mita(n) wln)... 
&( ma 直到 大 阶 的 所 有 联合 矩 存在 且 等 于 相应 的 1z(m+zr),z(m+r), .umw+zr)i 直 
到 处 阶 的 所 有 联合 矩 , 则 称 过 程 uw(n) 是 让 阶 平稳 的 ,其 中 和 nj trn +r ,mr+zri 也 是 一 
M IFR (Priestley, 1981)。 

下 面 , 考 虑 由 脉冲 响应 h, 表征 的 线性 时 不 变 系统 。 设 系统 由 过 程 x(n) 激 励 ,该 过 程 由 独 
立 等 分 布 (i.i.d) 的 样本 组 成 。 设 xfa) 表 示 所 产生 的 系统 输出 。 则 wu(n) 的 & 阶 累积 量 为 


(1.149) 


c(t, Tay eee Tk-1) = Ye >. hihirr, Risa, (1.150) 
式 中 y, 为 输入 过 程 x(n) 的 & 阶 累积 量 。 注 意 , 式 (1.150) 右 边 除了 用 累加 符号 代替 期 望 符号 
Sb BREE k OE 3 
k KER k 阶 累积 量 谱 定义 为 (Priestley, 1981; Nikias & Raghuveer, 1987) Se 
Cio, wz... Wp-1) = 之 … > ck(ri 72, Te-1) $ 
T=—00 T-1500 ( 59, 
x exp[—j(@,7; + oT +... + we_1Tk-1)] oe 


$ 


4 





多 谱 C, (a, M2606 ,we-_1) 存 在 的 充分 条 件 是 相关 的 k 阶 累 积 量 CTi T2»... 9 TEI ) 为 绝对 
可 加 的 , 即 
之 … È leri Ta- Ti) <oo (1.152) 


T1=—00 T-1=700 


功率 谱 、 双 谱 和 三 谱 是 式 (1.151) 中 定义 的 上 阶 多 谱 的 特例 。 具 体 地 ,表述 如 下 : 
1) 4k = 2 时 ,有 一 般 的 功率 谱 


Cz(oi) = 之 c(t) exp(—ja,7;) (1.153) 


即 式 (1.116) 给 出 的 EWK 关系 的 重 述 。 
2) 当 上 =3 时 ,有 双 谱 ,定义 为 
Ca(wl， oz) -> 


T 


之 ca(T1, 72) exp[—j(@y7, + w272)| (1.154) 


Ta 


3) 4k=4N,A=i8 EXA 


Calw, w2, %3) = > > > Ca(T1, T2, T3) exp[—j(o171 + W272 十 373) | (1.155) 


TI 一 一 00 72=—00 T3= 00 


多 谱 的 一 个 著名 性 质 就 是 , 当 过 程 wu(n) 为 高 斯 过 程 时 所 有 高 于 二 阶 的 多 谱 都 为 0。 这 个 性 质 
是 从 多 元 高 斯 分 布 中 所 有 高 于 二 阶 的 联合 累积 量 都 为 0 的 事实 直接 推出 的 结果 。 因 此 ,如 果 
过 程 u(n) 为 高 斯 过 程 , 则 双 谱 、 三 谱 及 所 有 更 高 阶 谱 都 为 0。 于 是 ,高 阶 谱 提 供 了 随机 过 程 偏 
离 高 斯 特性 的 测度 。 

k 阶 累 积 量 co(riyr， ,ri) 和 天 阶 多 谱 C(orowz，，,wri) 组 成 多 维 傅 里 时 变换 
对 。 确 切 地 说 ,多 谱 C, Cw wrs... wra) Æ a(t tr. TH NEE GBM ER; 
Cl Tis Tas.. -oTi MÆ Ci (wi, ows;..., we-1) 的 多 维 离散 健 里 叶 反 变换 。 例 如 ,给 定 双 谱 
C;(wi ,wz), 利 用 二 维 傅 里 叶 反 变换 可 以 确定 三 阶 累 积 量 e(r r)i F 


2 x r 
ca(ri T2) = (4) f f Gloi, œ) exp[j(@,7, + @)72)|dw, do, (1.156) 
我 们 可 以 用 这 个 关系 来 给 出 双 谱 的 另 一 种 定义 , 即 根据 Cramér 谱 表 示 ,我 们 有 
u(n) = 元 f el" dZ(w) 对 所 有 n (1.157) 
因此 ,在 式 (1.148) 中 利用 式 (1.157) ,可 得 到 


ca(71, 72) )= (4) f S fiel Linw + wz + ws)| (1.158) 


x exp{j {oT + @T2)|E [dZ (w) dZ(w2)dZ (ws)] 
比较 式 (1.156) 和 式 (1.158) 右 边 ,可 导出 如 下 结果 


Bozo) eZ) dz = a tT 


从 式 (1.159) 可 知 , 双 谱 Cs(wk,owz) 表 示 各 自 频率 相 加 到 零 的 三 个 傅 里 叶 分 量 平 均 积 的 贡献 。 


(1.159) 
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这 个 性 质 是 第 1.14 节 中 普通 功率 谱 解 释 的 推广 。 用 类 似 的 方法 ,可 以 得 出 三 谱 的 解释 。 
一 般 地 , 当 阶 数 k 大 于 2 时 ,多 谱 Clw sw, tee ;wp-1) 为 复数 , 即 


Cilo, 2,...， ok) = |C{o,, wo, ...， wx-1) exp [jpx(wi, Wa, ， wk—1)] (1.160) 
IP I C, Cw ws，...， wkt-1)| 为 多 谱 幅 度 ,而 AC ww. o OARE. mE, EWE 
期 为 2r 的 周期 函数 , 即 

Cloi, w... , wp) = Clo + 2m, @) + 2n,..., 0g- + 2n) (1.161) 


既然 乎 稳 随 机 过 程 的 功率 谱 密 度 对 相位 是 盲 的 (phase-blind) ,过 程 的 多 谱 对 相位 是 敏感 的 。 更 确 
切 地 说 ,功率 谱 密 度 为 实 值 :参考 式 (1.122) 的 输入 和 输出 关系 可 以 看 出 , 当 平 稳 随 机 过 程 通过 线性 
系统 时 ,系统 相位 响应 的 信息 在 输出 功率 谱 中 被 完全 破坏 。 与 此 相对 照 ,多 谱 是 复 值 的 ,因此 在 
类 似 情况 下 ,输出 信号 的 多 谱 保 留 了 系统 相位 响应 信息 。 这 就 是 为 什么 多 谱 能 够 为 那些 只 能 以 
输入 信号 概率 模型 形式 获取 输出 信号 和 某 些 附加 信息 的 未 知 系统 的 盲 辨识 提供 有 用 的 工具 。 


1.19 庶 相 关 密 度 


通过 引用 过 程 的 高 阶 统 计 , 多 谱 保 存 了 随机 过 程 的 相位 信息 ,但 只 有 当 过 程 为 非 高 斯 过 程 
时 才 是 可 行 的 。 当 过 程 是 广义 循环 平稳 时 ,如 式 (1.144) 和 式 (1.145) 所 定义 的 ,也 有 可 能 保存 
相位 信息 。 后 者 具有 如 下 两 个 超过 高 阶 统计 量 方法 的 重要 优点 : 

© 相位 信息 包含 在 过 程 的 二 阶 循环 平稳 统计 中 ;因此 ,能 够 以 高 效 的 计算 方式 利用 相位 信 

息 , 从 而 避免 使 用 高 阶 统计 量 。 

© 相位 信息 的 有 效 保存 ,不 要 考虑 高 斯 特性 。 

然后 ,我们 考虑 一 个 广义 循环 平稳 的 离散 随机 过 程 w(n)。 不 失 一 般 性 ,假设 过 程 是 零 均 
值 的 ,wu(n) 的 集 平均 自 相关 函数 的 常用 方式 为 

r(n,n — k) = Elu(n)u*(n — k)] 

在 循环 平稳 的 条 件 下 ,对 于 每 一 个 有 , 自 相关 函数 r(n,n -上 有) 是 以 n 为 周期 的 周期 函数 。 


考虑 到 zx(nm) 的 离散 时 间 特 性 ,可 以 将 自 相 关 函 数 (n,n - A) 扩 展 为 傅 里 叶 序 列 ( Gardner, 
1994a,b) 





r(n,n— k) = Ke (1.162) 


AP ”和 并 都 只 取 整 数值 , 且 集 合 le} 包 括 了 所 对 应 的 傅 里 叶 系数 不 为 0 时 a 的 所 有 值 。 傅 
里 叶 系 数 *() 自 身 定义 为 


N-1 


r°(k) _ 1 Sr, n E kje Prantinak (1.163) 
其 中 ,样本 数 N 表示 周期 。 等 效 地 ,根据 式 (1.163) ,可 定义 
N-1 
r(k) = 六 [$ lunun 一 ker?" he (1.164) 


其 中 r (%) 称 为 循环 自 相关 函数 (cyclic autocorrelation function) , 它 具 有 如 下 性 质 ; 
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1) 循环 自 相关 函数 oO (DBD a 为 周期 的 周期 函数 且 周 期 为 2。 
2) 对 于 任意 a ,根据 式 (1.164) ,我 们 有 
rok) = (-1)r*(k) (1.165) 
3) 对 于 a =0 的 特例 , 式 (1.164) 变 为 
P°(k) = r(k) (1.166) 
其 中 r(k) 是 平稳 过 程 的 普通 自 相关 函数 。 
根据 式 (1.116) 和 式 (1.117) 给 出 的 Einstein-Wiener-Khintchine 关系 ,普通 型 自 相 关 函 数 和 
广义 平稳 随机 过 程 的 功率 谱 组 成 一 个 傅 里 叶 变 换 对 。 相 应 地 ,我 们 可 把 循环 自 相 关 函 数 靖 ( 太 ) 
的 离散 傅 里 叶 变 换 定义 为 (Gardner，1994a,b) 


Se(w) = > re(k)e Fok -n <w (1.167) 
k=-00 
S (wow) 称 为 谱 相 关 密 度 (specetral-correlation density) , 当 a #0 时 它 为 复 值 。 当 a =0 时 ,上 式 变 为 
S°(w) = S(w) 


AP S(ww) 是 普通 功率 谱 密 度 。 

根据 定义 式 (1.164) 和 式 (1.167) ,我 们 可 建立 图 1.16 所 示 的 方 框图 ,用 来 测量 谱 相 关 密 度 
S (wow)。 为 此 ,假设 过 程 uv(n) 是 循环 各 态 历 经 的 (cycloergodic) ,这 意味 着 时 间 平 均 可 用 集 平均 
代替 “具有 每 个 周期 取样 一 次 的 样 值 ”(Gardner, 1994a,b)。 根 据 图 1.16 所 示 的 实现 ,在 允许 
谱 分 量 带宽 可 以 接近 零 的 极限 情况 下 ,5S*(w) 是 角 频 率 w+ ar 和 w- ar 处 时 间 序 列 w(n) 中 
所 包含 的 带宽 归 一 化 型 互相 关 罕 带 谱 分 量 (Gardner，1994a,b)。 注 意 , 图 中 两 个 窄带 滤波 器 是 
相同 的 ,二 者 都 有 一 个 频带 中 心 角 频率 o 和 带宽 Aw, A Aw 小 于 w, 但 大 于 图 中 输出 端 互 相关 
器 中 所 用 的 平均 时 间 的 倒数 。 这 个 方案 的 一 个 通道 中 ,输入 wu(n) 和 exp( - jxran) 相 乘 ;在 另 
一 个 通道 中 , zw(n) 与 exp(Jran) 相 乘 , 滤 波 结 果 的 信号 再 送 人 互相 关 器 。 正 是 这 两 个 乘法 ( 优 
先 级 高 于 相关 器 ) 在 a 非 零 值 的 情况 下 提供 了 具有 相位 保护 特性 的 谱 相 关 密 度 S* (ww)。 


e-jnan 


Sw) 





图 1.16 循环 平稳 过 程 谱 相 关 密 度 的 测试 方案 
1.20 本 章 小 结 


本 章 研究 了 平稳 离散 时 间 随机 过 程 的 部 分 特性 , 它 在 时 域 中 由 两 个 统计 参数 惟一 描述 : 
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1) 均值 ,为 常数 ; 
2) 自 相 关 函 数 , 它 只 依赖 于 过 程 的 任意 两 个 样本 间 的 时 间 差 。 


过 程 的 均值 或 者 自然 为 零 ,或 者 可 以 从 这 个 过 程 减 为 一 个 新 的 零 均 值 过 程 。 因 此 ,在 本 书 
后 续 章 节 的 讨论 中 ,一 般 均 假 设 过 程 的 均值 为 零 。 于 是 ,给 定 一 个 零 均 值 复 值 平稳 离散 时 间 随 
机 过 程 的 M x 1 观测 向 量 un) ,我 们 可 通过 定义 M x M HIRERE 及 作为 u(n) 与 其 自身 外 
积 的 统计 期 望 [ 即 R = ul(n)u”(n)] 部 分 地 描述 了 这 个 过 程 。 和 矩阵 R 为 埃 尔 米 特 - 托 伯 利 兹 
( Hermitian-Toeplitz) 4E RE , 它 几 乎 总 是 绝对 正定 的 。 

本 章 讨论 的 另 一 个 课题 是 随机 模型 概念 。 当 给 定 一 组 已 知 统计 特性 的 实验 数据 而 且 需 要 
分 析 这 些 数据 时 ,就 有 这 种 需求 。 就 此 而 言 , 对 于 一 个 合适 的 模型 ,一般 有 两 个 要 求 ; 

1) 足够 数量 的 模型 可 调 参数 ,用 来 捕获 输入 数据 中 的 基本 信息 内 容 。 

2) 模型 数学 上 易 处 理 。 


第 一 个 要 求实 际 上 意味 着 模型 的 复杂 度 应 该 紧密 匹配 产生 输入 数据 的 基本 物理 机 制 。 只 
有 这 种 情况 下 ,对 输入 数据 的 欠 匹 配 和 过 匹配 才 可 以 避免 。 第 二 个 要 求 通 常 可 通过 选择 线性 
模型 得 到 满足 。 

在 线性 随机 模型 族 中 , 自 回 归 (AR) 模 型 通常 比 滑动 平均 (MA) 模 型 和 自 回归 滑动 平均 
(ARMA ) 模 型 更 流行 的 一 个 重要 原因 是 ;不 同 于 MA 或 ARMA 模型 的 情形 ,AR 系数 的 计算 可 由 
称 为 尤 尔 -沃克 方程 的 线性 方程 系统 控制 。 再 则 ,除了 可 预测 分 量 外 ,我们 可 用 满足 一 定 约束 
的 足够 高 阶 的 AR 模型 来 近似 一 个 平稳 离散 时 间 随 机 过 程 。 为 了 选择 合适 的 模型 阶 数 ,可 利 
用 Akaike 的 信息 理论 准则 或 Rissanen 的 最 小 描述 长 度 (MDL) 准 则 。MDL 准则 的 一 个 有 用 特性 
在 于 , 它 是 一 个 一 致 模型 阶 数 估计 器 。 

表征 广义 平稳 随机 过 程 的 另 一 个 重要 办 法 是 用 功率 谱 密度 或 功率 谱 。 在 本 章 的 后 半 部 
分 ,我 们 认识 了 依赖 于 过 程 统计 特性 的 三 种 不 同 谱 参数 : 


1) DERRE Slo) 它 定义 为 广义 平稳 过 程 的 普通 自 相关 函数 的 离散 健 里 叶 变 换 。 对 
于 这 样 的 过 程 , 自 相关 函数 为 埃 尔 米 特 的 ,总 是 使 5S(w) 为 一 个 实 值 的 量 。 因 此 , Slow) 
破坏 了 过 程 的 相位 信息 。 除 了 这 个 限制 外 ,功率 谱 密度 被 用 做 显示 广义 平稳 过 程 的 相 
关 性 质 的 有 用 参数 。 

2) 多 谱 C,(@,0.,....0%.1) 它 定义 为 平稳 过 程 的 累积 量 的 多 维和 傅 里 叶 变换 。 对 于 
5 =2 的 二 阶 统计 量 , Clw ) 退 化 为 普通 功率 谱 密 度 5(w)。 对 >2 的 高 阶 统计 量 , 多 
谱 取 复 数 形式 。 正 是 多 谱 的 这 个 性 质 ,使 它 在 处 理 需 要 相位 信息 的 场合 成 为 有 用 的 工 
具 。 但 是 ,为 了 使 多 谱 有 意义 ,过 程 必 须 是 非 高 斯 的 ,而 且 开 发 利用 多 谱 中 所 包含 的 相 
位 信息 要 求 使 用 非 线性 滤波 。 

3) 谱 相关 密度 5S“(w) 它 定 义 为 广义 循环 平稳 过 程 的 循环 自 相 关 函 数 的 离散 傅 里 叶 变 
换 。 当 a 40M, S Co) ASB a= 0 时 ,5"(w) 退 化 为 S(w)。5“(w) 的 有 用 特征 
在 于 它 保留 了 相位 信息 ,而且 可 借助 线性 滤波 利用 这 一 特性 ,而 不 需 考虑 过 程 是 否 为 
高 斯 过 程 。 


普通 功率 谱 密度 ,多 谱 和 谱 相关 密度 的 不 同性 质 使 得 这 些 统计 参数 在 自 适应 滤波 方面 有 
各 自 的 应 用 领域 。 
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最 后 一 个 需要 说 明 的 是 :二 阶 循环 平稳 过 程 和 常规 的 多 谱 理论 已 经 聚集 在 循环 多 谱 的 保 
PETF. MAZ, ,循环 多 谱 是 谱 累积 量 , 它 所 涉及 的 各 个 频率 (分 量 ) 可 合计 为 任意 循环 频率 
wa 而 对 于 多 谱 它 们 必须 合计 为 零 。 


1.21 习题 


1， 序 列 y(n) 与 uw(n) 之 间 的 关系 由 如 下 差分 方程 给 出 为 
y(n) = u(n + a) — u(n — a) 
其 中 a 为 常数 。 试 用 wu(n) 表 示 y(n) BK 
2. 考虑 一 个 存在 逆 矩 阵 R 的 自 相 关 和 矩阵 R 证明 RR KE, 
3 一 个 数字 通信 系统 的 接收 信号 为 
u(n) = s(n) + v(n) 
s(n) 为 失真 后 的 传输 信号 ,v(n) 表 示 加 性 高 斯 白 噪 声 , s(n) A (zz) 的 自 相 关 和 矩阵 分 别 为 
Rs 和 R, 。 设 R, 的 元 素 定义 为 
E E E 
确定 条 件 ,使 噪声 方差 o 必须 满足 &(z) 的 自 相关 和 矩阵 为 非 奇 异 的 。 注 意 ,读者 必须 通过 
考虑 2x2 相关 矩阵 来 说 明 这 个 推导 。 
4， 理 论 上 , 方 阵 可 以 是 绝对 非 负 定 和 非 奇异 的 。 试 基于 如 下 2x2 矩阵 


Ri 1 
证 明 这 个 命题 的 正确 性 。 

5. (a) 式 (1.26) 为 平稳 随机 过 程 观测 向 量 uw,1(n) 有 关 的 (有 M+1) x(M+I) 自 相关 和 矩阵 
Rw,1 与 同一 过 程 观测 向 量 u(n) FE M xM AMM Ry 之 间 的 关系 ,试用 Ry 
表示 Rysio 

(b) 用 式 (1.27) 重 复 上 述 过 程 。 
6.. 一 个 一 阶 实 值 自 回 归 (AR) 过 程 u(n) 满 足 如 下 实 值 差分 方程 
u(n) + au(n 一 1) = x(n) 
式 中 a, 为 常数 ,v(n) 是 方差 为 o, HARARE. 
(a) 证 明 y(n) 如 果 具 有 非 零 均值 , 则 AR 过 程 wu(n) 是 不 平稳 的 。 
(b) 对 于 y(n) 具 有 零 均 值 且 a, 满足 1a11< 1 条件 的 情况 ,证 明 wu(n) 的 方差 为 


1 - at 
(c) 在 (b) 中 给 定 的 条 件 下 ,对 于 0< a, <1 Al -1< ai<0 两 种 情况 找 出 AR 过 程 u(n) 的 
AHR PRR 
7. 考虑 由 如 下 差分 方程 描述 的 二 阶 AR 过 程 u(n) 
u(n) = u(n — 1) ~ 0.5u(n — 2) + v(n) 





var[u(n) | 


10. 


11. 


13. 


14. 


15 
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其 中 ,v(n) 是 零 均 值 和 方差 为 0.5 的 白 噪声 。 
(a) 写 出 该 过 程 的 尤 尔 -沃克 方程 。 
(b) 对 自 相 关 函 数值 (1) A (2) ,求解 这 两 个 方程 。 
(c) R u(n) 的 方差 。 
考虑 建 模 为 M 阶 AR 过 程 的 广义 平稳 随机 过 程 w(n)。 由 平均 功率 P, 和 AR 系数 a , a,， 
-oan 组 成 的 一 组 参数 与 自 相 关 序 列 r(0) ,7(1),...,r(M) 一 一 对 应 ,如 下 式 
{r(0), r(1), 7(2),...,7(M)} == {P, ay, @,..., ay} 


证 明 该 命题 正确 。 
写 出 下 列 两 个 随机 模型 的 转移 函数 : 
(a) 图 1.3 的 MA 模型 
(b) 图 1.4 的 ARMA 模型 
(c) 写 出 图 1.4 所 示 的 ARMA 模型 的 转移 函数 退化 为 (1) AR 模型 转移 函数 ;(2) MA 模型 
转移 函数 时 的 条 件 。 | 
考虑 由 如 下 差分 方程 描述 的 二 阶 MA 过 程 x(n) 
x(n) = v(n) + 0.75v(n — 1) + 0.25v(n — 2) 
其 中 v(n) 是 方差 为 1 的 零 均 值 白 品 声 过 程 。 要 求 用 一 个 M 阶 AR 过 程 uw(n) 近 似 该 过 
程 。 对 于 下 列 阶 数 
(a) M=2 (b)M=5 (ce) M = 10 
{ERIE  FFPE OT TARGA WR AR 过 程 u(n) 要 与 MA 过 程 x(n) 精 确 等 价 , 则 M 必 
须 多 大 ? 
从 零 均值 广义 平稳 随机 过 程 和 自 相关 和 矩阵 及 得 到 的 时 间 序 列 wu(n) 被 加 到 冲 激 响应 为 zw 
的 FIR 滤波 器 。 这 个 冲 激 响 应 定义 了 权 向 量 w。 
(a) 证 明 滤 波 器 输出 的 平均 功率 为 w Rw. 


(b) 若 滤 波 器 输入 端的 随机 过 程 是 一 个 方差 为 e 的 白 噪声 , 则 (a) 中 的 结果 会 如 何 改变 ? 
. 一 个 一 般 的 线性 复 值 过 程 定义 为 


u(n) = Š otni —k) 


其 中 vn) AAR, b, 为 复 系数 。 证 明 下 列 命题 : 

(a) 如 果 y(n) 为 高 斯 过 程 , 则 wu(n ) 也 为 高 斯 过 程 。 

(b) 反之 ,如 果 wu(n) 为 高 斯 过 程 , 则 y(n) 必须 为 高 斯 过 程 。 

考虑 复数 高 斯 过 程 uv(n)。 设 u(n) = wu ,用 高 斯 矩 分 解 理 论 , 证 明 下 列 等 式 ; 

(a) El(utu)] = k!(E[ušu]} 

(b) Ellul*] = k1(E[\ul?])* 

考虑 式 (1.113) 给 出 的 功率 谱 密 度 的 定义 。 这 个 方程 是 否 可 以 交换 求 极限 和 期 望 的 操作 ? 
证 明之 。 


. 在 推导 式 (1.126) 时 ,我们 引用 了 概念 :如 果 一 个 广义 平稳 过 程 通过 线性 时 不 变 、 稳 定 的 滤 


波 器 , 则 滤波 器 输出 随机 过 程 也 是 广义 平稳 的 。 证 明 式 (1.126) 的 结果 是 下 式 的 一 个 特例 
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r,(n,m) = È È A(i)h*(k)r,(n — i,m — k) 


16. 在 求 式 (1.129) 中 滤波 器 输出 的 均 方 值 时 假设 :滤波 器 带宽 小 于 其 频带 中 心 频 率 。 对 于 和 白 
噪声 过 程 ,这 个 假设 对 获得 例 3 的 相应 结果 是 否 必要 ? 试 证 明 这 个 结论 。 
17. FHA 0.1 的 白 品 声 加 到 带宽 为 1 Hz 的 离散 时 间 低 通 滤波 器 ,该 过 程 为 实 值 。 
(a) 计算 滤波 器 输出 的 方差 ; 
Ch) 假设 输入 信号 为 高 斯 过 程 ,确定 滤波 器 输出 的 概率 密度 函数 。 
18. 实 值 平稳 随机 过 程 u(n) 称 为 周期 性 的 ,如 果 它 的 相关 函数 是 周期 性 的 , 即 
r(l) = Elu(n)u(n — 0)] 
=r(l +N) 
其 中 为 周期 。 扩 展 r(7) 为 傅 里 叶 级 数 


1 N-1 
r(l) = W È S exp (iter) £=0,1,...,N-1 


其 中 
o = 2nk 
* N 
和 
N-1 
Sk = D r(i) exp(—jla,) k=0,1,...,N—1 
k=0 
ABR 


Se = E[u] 
有 具体 化 了 离散 功率 谱 ，U 为 复 随 机 变量 , 它 定义 为 
U, = S u(n) exp(—jne,) k=0,1,...,.N—-1 
和 


N 
ñ u(n) = $ F Ucexp( nay) n=0,1,... N-1 


(a) 证 明 频 谱 抽样 Uo, Ui doves Un- BARAK, 即 证 明 
£(U,U*] 一 {or nA =k 
(b) 假设 u(n), A U, 是 高 斯 分 布 的 ,证 明 Uo, U,,..., Un 的 联合 概率 密度 函数 由 下 
式 给 出 
fu(Uo, Uy, ,UN 1) =m " exp(— 2 > u + in] 

19. 证 明 1d2Z(w)1 的 期 望 具有 功率 的 物理 意义 ,其 中 dZ(w) 为 增 量 过 程 。 
20. 证 明 高 斯 过 程 的 三 阶 及 更 高 阶 累积 量 都 为 0。 
21. 给 出 平稳 随机 过 程 uz(n) 的 三 谱 Cilo ,ua , 3) 的 物理 解释 。 假设 u(n) 为 实 值 。 
22. 考虑 转移 函数 为 H(z) 的 线性 时 不 变 系 统 。 系 统 被 具有 零 均值 .方差 为 1 的 独立 等 分 布 

(i.i.d) 随 机 变量 组 成 的 实 值 序列 x(n) 激 励 。x(n) 的 概率 分 布 是 非 对 称 的 。 
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(a) 求 出 系统 输出 wx(z) 的 三 阶 累 积 量 和 双 谱 。 
(b) 证 明 x(z) 的 双 谱 的 相位 分 量 与 转移 函数 H(z) 的 相位 响应 之 间 的 关系 为 
arg[Cs(w,, oa) = arg[H(e)] + arg[H(e)] — arglH(e")] 
23. 式 (1.150) 给 出 了 冲 激 响应 为 bh 的 线性 时 不 变 系统 的 输出 的 上 阶 累积 量 , 该 系统 由 i.d.d 
随机 变量 组 成 的 序列 x(n) 激 励 , 试 推导 该 等 式 。 
24. 对 于 广义 循环 平稳 随机 过 程 wu(n) ,证 明 循 环 自 相关 函数 r(%) 满 足 如 下 性 质 
r*(—k) = re*(k) 
其 中 * an I 
25. 图 1.16 描述 了 广义 循环 平稳 过 程 wx(z) 的 谱 相 关 密 度 的 测量 方法 。 证 明 当 a = 0 时， 
图 1.16 可 简化 为 为 图 1.13 的 形式 。 
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有 了 第 1 章平 稳 随机 过 程 的 统计 特性 ,就 可 以 为 评价 线性 自 适 应 滤波 器 的 性 能 提供 一 个 
框架 。 特 别 地 ,本 章 将 研究 一 类 线性 最 优 离散 滤波 器 , 即 所谓 维 纳 (Wiener) 滤波 器 。 维 纳 滤波 
器 理论 系统 阐述 了 由 其 脉冲 响应 所 表征 的 滤波 器 的 一 般 复 值 随机 过 程 。 采 用 复 值 时 间 序 列 的 
原因 是 ,在 大 量 实 际 应 用 中 (如 通信 、 雷 达 、 声 纳 等 ) ,许多 应 用 都 是 以 基带 形式 给 出 的 。 正 如 第 
1 章 所 述 ,基带 用 来 表示 由 信息 源 传递 的 原始 信号 所 占用 的 频带 。 实 值 时 间 序列 理所当然 地 
可 看 做 复 值 理 论 的 一 个 特例 。 下 面 ,我 们 首先 将 概述 线性 最 优 滤波 问题 ,以 便 为 后 续 的 维 纳 滤 
波 理 论 及 其 变种 的 研究 搭建 平台 。 


2.1 线性 最 优 滤波 :问题 综述 


图 2.1 建立 了 线性 离散 时 间 滤 波 器 的 方 框图 。 滤波 器 的 输入 时 间 序 列 为 (0), 
u(D) ，. ,并 用 其 冲 激 响 应 为 woww.. .来 表征 该 滤波 器 。 而 且 在 某 些 离散 时 刻 EE 
器 输出 为 y(n)。 这 个 输出 信号 用 来 产生 期 望 响应 的 估 值 4(n)。 由 于 滤波 器 的 输入 信号 和 其 
望 响应 表示 各 自 随机 过 程 的 实现 ,使 得 估计 通常 带 有 其 自身 统计 特性 的 误差 e(n)。 在 实际 
中 ,估计 误差 是 用 期 望 响应 d(n) 与 滤波 器 输出 y(n) 之 差 来 表示 。 其 要 求 的 就 是 在 某 种 统计 
意义 上 使 估计 误差 尽 可 能 小 。 

给 定 输入 样 值 和 滤波 器 系数 “时刻 条 件 


线性 离散 
时 间 滤 波 器 
Wo Wi1, Wy os 


图 2.1 统计 滤波 问题 示意 框图 
这 里 ,滤波 器 需要 有 两 个 约束 条 件 : 


1) 滤波 器 是 线性 的 ,使 得 数学 分 析 容 易 进 行 ; 
2) 滤波 器 是 离散 时 间 的 ,使 得 它 可 用 数字 硬件 或 软件 来 实现 。 


滤波 器 具体 实现 还 依赖 于 另外 两 个 选择 : 


1) 滤波 器 的 冲 激 响应 的 选择 问题 (是 选择 有 限 冲 激 响应 ,还 是 无 限 冲 激 响 应 ); 
2) 统计 优化 准则 的 选择 问题 。 


选择 有 限 长 冲 激 响 应 (FIR, finite-duration impulse response) 或 者 无 限 长 冲 激 响应 (IIR, infi- 


输出 响应 
din) 
+ 


输入 
u(0),u(1)u(2),… 





估计 误差 


e(n) 
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nite-duration impulse response) 取 决 于 实际 应 用 场合 ;滤波 器 设计 中 选用 哪 种 优化 统计 准则 则 与 
数学 处 理 的 难 易 程度 有 关 。 以 下 我 们 依次 探讨 这 两 个 问题 。 

我 们 从 考虑 IR 滤波 器 开始 转述 维 纳 滤波 理论 ,这 样 可 以 将 FIR 滤波 器 看 做 它 的 一 个 特 
例 。 然 而 ,本 章 大 部 分 内 容 的 描述 以 及 本 书 的 后 续 部 分 中 ,我 们 主要 集中 讨论 FR 滤波 器 。 这 
是 因为 FIR 滤波 需 结构 中 只 用 到 前 向 路 径 而 使 其 具有 固有 的 稳定 性 。 换 句 话说 ,FIR 滤波 器 
中 输入 输出 相互 作用 的 惟一 方式 是 通过 滤波 器 从 输入 到 输出 的 前 向 路 径 完成 的 。 实 际 上 ,这 
种 信号 传输 方式 使 滤波 器 的 冲 激 响 应 限制 为 有 限 长 度 。 而 R 滤波 器 同时 包含 了 前 向 和 反馈 
路 径 ,反馈 路 径 意 味 着 有 一 部 分 滤波 器 的 输出 和 其 他 可 能 的 中 间 变 量 要 反馈 到 输入 端 。 其 结 
果 是 ,除非 经 过 合理 的 设计 ,滤波 器 的 反馈 会 使 输出 结果 不 稳定 ,甚至 导致 滤波 器 发 生 振 功 。 
这 种 现象 在 一 些 要 求 “必须 "保证 稳定 性 的 场合 是 不 能 接受 的 。 尽 管 IR 滤波 器 的 稳定 性 问题 
本 身 在 理论 上 和 实际 中 都 是 可 以 驾驭 的 ,但 当 滤 波 器 需要 自 适 应 时 ,同时 包含 自 适 应 和 反馈 
(IR 滤波 器 固有 的 ) 所 带 来 的 稳定 性 问题 已 成 为 一 个 十 分 难处 理 的 难题 。 正 是 由 于 这 个 原因 ， 
在 大 部 分 需要 自 适 应 的 滤波 应 用 中 ,FIR 滤波 器 大 大 优 于 IIR 滤波 器 ,即使 后 者 需要 很 少 的 计 
算 要 求 也 是 如 此 。 

下 面 转向 考虑 第 二 个 问题 :统计 优化 准则 的 选择 问题 。 各 种 准则 都 有 其 自身 的 适用 场合 。 
在 滤波 器 优化 设计 中 ,可 以 考虑 采用 某 种 最 小 代价 函数 或 者 某 个 性 能 指标 来 衡量 ,一 般 有 下 列 
几 种 选择 : 


1) 估计 误差 的 均 方 值 ; 
2) 估计 误差 绝对 值 期 望 值 ; 
3) 估计 误差 绝对 值 的 三 阶 或 高 阶 期 望 值 。 


选项 1 由 于 容易 进行 数学 处 理 而 优 于 其 他 两 个 选项 。 实 际 上 ,选择 均 方 误差 准则 导致 滤 
波 髓 冲 激 响 应 未 知 系数 代价 函数 的 二 阶 相关 性 (dependence)。 而 且 , 该 代价 函数 有 一 个 独特 的 
最 小 值 能 惟一 地 定义 滤波 器 的 优化 统计 设计 。 因 此 ,我 们 将 注意 力 集中 于 均 方 误差 准则 。 

现 将 滤波 器 问题 的 本 质 表 述 如 下 : 

给 定 一 个 输入 取样 序列 &(0) ,wu(1),wu(2),… ,设计 一 个 线性 离散 滤波 器 [其 输出 y(n) 提 

供 了 期 望 响 应 d(n) 的 一 个 估 值 ] ,使 得 其 估计 误差 的 均 方 值 e(m)[ 定 义 为 期 望 响应 d(n) 

与 实际 响应 y(n) 之 差 ] 为 最 小 。 

我 们 将 通过 两 种 完全 不 同 、 互 相 补充 的 方法 来 阐述 该 统计 优化 问题 的 数学 解决 方案 。 一 
种 方法 导致 一 个 重要 的 定理 (通常 称 为 正 交 性 原理 )。 另 一 个 方法 着 重 讲述 误差 性 能 曲面 , 它 
描述 了 以 滤波 器 系数 为 变量 的 代价 函数 的 二 阶 相 关 性 。 下 面 首 先 着 手 推 导 正 交 性 原理 ,因为 
这 个 推导 过 程 相对 简单 , 且 意 义 重大 。 


2.2 正 交 性 原理 


再 看 如 图 2.1 所 示 的 随机 信号 滤波 问题 。 滤 波 器 的 输入 用 时 间 序 列 wy(0), (1),w(2),"" 
表示 , 冲 激 响应 用 wo ,wi , w,，… 表 示 , 设 它们 都 是 复 值 且 无 限 长 度 的 。n 时 刻 的 滤波 器 输出 为 
线性 卷 积 
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y(n) = 之 win — k) n=0,1,2,... (2.1) 


其 中 星 号 表示 复 共 罗 。 注 意 , 复 值 意义 上 的 wiw(n - 8) 表示 滤波 器 系数 wi 与 滤波 器 输入 
u(n- k) ABR. PA 2.2 示 出 当 式 (2.1) 中 为 实数 据 时 计算 线性 离散 时 间 卷 积 的 步骤 。 


wk} 





0 1 2 3 4 5 
(a) 脉冲 响应 (bj 滤波 器 输入 


u(n-k) WA 人 





一 2 一 0 1 2 > 3ko 1 2 3 
(c) 滤波 器 输入 的 时 间 反 转 和 移 位 型 (d) n=3 时 刻 滤波 器 输出 
图 2.2 线性 卷 积 
图 2.1 的 滤波 器 的 目的 是 要 产生 一 个 期 望 响 应 d(z) 的 估 值 , 设 滤波 器 输入 序列 和 期 望 响 


应 是 联合 广义 平稳 随机 过 程 , 且 均 值 为 零 。 如 果 均 值 不 为 零 , 则 依据 第 1.2 节 讲 的 预 处 理 ,在 
滤波 之 前 先 从 w(n) 和 d(n) 中 减 去 均值 ,估计 值 a(n) 自 然 带 有 误差 ,该 误差 定义 为 
e(n) = d(n) — y(n) (2.2) 
估计 误差 e(n) 是 一 个 随机 变量 的 采样 值 。 为 了 优化 滤波 器 的 设计 ,选择 e(n) 的 最 小 均 方 值 。 
因此 ,定义 代价 函数 为 均 方 误差 
J = Ele(n)e*(n)] 
= Elle(n)|’] 

其 中 E 表示 统计 期 望 运算 符 。 因 此 ,其 要 求 是 确定 使 7 获得 最 小 值 的 运行 条 件 。 

对 于 复 值 的 输入 数据 ,滤波 器 系数 通常 也 为 复 值 。 设 第 个 滤波 器 系数 w 表示 为 实 部 与 
虚 部 形式 


(2.3) 





Wr = Ay + jbk k= 0, 1, 2,... (2.4) 

相应 地 ,可 以 定义 一 个 梯度 算 子 ,其 中 第 k 个 元 素 可 写成 实 部 a PERR b, 的 一 阶 偏 微分 形式 
0 ð 

V= a + fp. k = 0,1,2,... (2.5) 


因此 ,将 算 子 用 于 代价 函数 J, 得 到 一 个 多 维 复 值 梯度 向 量 V ,其 中 第 个 元 素 为 
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Vil = og, + Sb, k = 0,1,2,... (2.6) 
式 (2.6) 表 明 实 系数 函数 梯度 可 以 自然 扩展 应 用 到 复 系数 函数 的 更 一 般 情况 了 0。 注意 式 (2.6) 
中 复 梯 度 的 定义 是 有 效 的 ,这 里 重要 的 是 本 为 实数 。 梯 度 算 子 往往 用 来 寻找 所 感 兴趣 的 代价 
函数 的 稳定 点 。 复 数 约束 可 以 转换 成 一 对 实数 约束 。 在 式 (2.6) 中 ,一 对 实数 约束 可 通过 将 
VJ 的 实 部 和 虚 部 都 置 为 零 来 获得 。 
为 了 从 代价 函数 J 中 得 到 其 最 小 值 ,梯度 向 量 VJ 的 所 有 元 素 必须 同时 都 等 于 零 , 即 
| Vi=0 k=0,1,2,... (2.7) 


在 这 组 约束 条 件 下 ,就 说 滤波 器 在 均 方 误差 意义 下 最 优 %。 


依据 式 (2.3) ,代价 函数 将 是 独立 于 时 间 n 的 标量 。 因 此 ,将 式 (2.3) 的 第 一 个 式 子 代入 
式 (2.6) ,得 到 








VJ = 可 ecn) + EAD en) + A jorn) + je | (2.8) 
Fy ch (2.2) Ash (2.4) ,可 以 得 到 4 个 篇 微分 
Ge(n) _ -k 
aa 一 u(n — k) 
de(n)  ， 
= juln ~ k) (2.9) 
de*(n) x 
Toa, ~u (n -= k) 
ð * 
“ = ~ju*(n — k) 
将 这 些 偏 微分 代 人 式 (2.8) ,整理 得 到 
V.J = —2E[u(n — k)e*(n)] (2.10) 


现在 我 们 准备 求 使 代价 函数 J 最 小 时 所 要 求 的 工作 条 件 。 设 e, 表示 滤波 器 工作 在 最 优 
条 件 下 估计 误差 的 特定 值 , 则 式 (2.7) 中 规定 的 条 件 等 效 为 
Elu(n — k)ež(n)| = 0 k = 0,1,2,... (2.11) 
总 之 ,对 式 (2.11) 可 做 如 下 表述 : 
使 代价 函数 J 获得 最 小 值 的 充 要 条 件 是 其 对 应 的 估计 误差 e。(n) 正 交 于 n 时 刻 进入 期 望 
响应 估计 的 每 个 输入 样 值 。 





O 梯度 的 概念 常用 在 关于 最 优化 的 著作 中 (例如 ,Domy,1975)。 对 于 复数 情况 ,在 Widow 等 (1975a) 以 及 Monzingo 和 
Miller(1980) 著 述 中 有 讨论 。 
注意 ,对 于 复数 数据 这 个 更 一 般 的 情况 ,代价 函数 J 不 是 解析 函数 (见习 题 1)。 因 此 ,代价 函数 / 相对 于 滤波 器 系 
Rw, 的 导数 要 特别 注意 。 这 个 问题 的 讨论 在 附录 B 中 ,那里 我 们 也 讨论 了 梯度 概念 与 复 系数 导数 之 间 的 关系 。 

O 注意 ,在 式 (2.7) 中 ,我 们 已 经 假设 稳定 点 的 最 优 性 。 在 线性 滤波 问题 中 ,由 于 误差 性 能 曲面 的 二 次 特性 ( 见 第 2.5 
节 ), 求 出 的 稳定 点 一 定 是 全 局 最 优 的 。 
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实际 上 ,这 段 表述 构成 正 交 性 原理 。 它 是 线性 优化 滤波 理论 中 的 最 重要 原理 之 一 ,也 为 验 
证 线性 滤波 器 是 否 工作 于 最 优 状 态 提 供 了 数学 基础 。 


2.2.1 正 交 原理 推论 


当 考 虑 滤波 器 输出 信号 y(n) 与 估计 误差 e(n) 之 间 的 相关 特性 时 ,可 以 得 到 正 交 原理 的 
推论 。 利 用 式 (2.1), 可 以 将 相关 函数 表示 为 

E[y(n)e*(n)| = 可 S whu(n 一 ertm | 

aii (2.12) ` 

= X wğEļ|u(n — k)e*(n)] 


k=0 
& y,(n) 表 示 在 均 方 误差 最 优 意 义 下 滤波 器 的 输出 ,而 e,(n) 表 示 响 应 的 估计 误差 。 因 
此 ,利用 式 (2.11) 描 述 的 正 交 性 原理 ,可 得 如 下 结果 

Ely,(n)e*(n)] = 0 (2.13) 
由 此 ,我们 可 以 得 到 正 交 性 原理 的 推论 : 
当 滤 波 器 工作 于 最 优 条 件 下 ,期 望 响应 的 估 值 用 滤波 器 的 输出 y,(n) 表 示 , 相 应 的 估计 误 
差 e,_(nn) 与 它们 相互 正 交 。 
令 (nl,) 表 示 在 均 方 误差 意义 下 最 优 的 期 望 响应 的 佑 值 ,给 定 输入 信号 直到 时 刘 n 
(包括 区 ) 张 成 的 空间 为 届 ,, 则 有 

d(n|%U,,.) = yoln) (2.14) 


注意 , 估 值 4(n1U, ) 具 有 零 均值 ,因为 其 抽 头 的 输入 是 设 为 零 均值 的 。 这 个 条 件 也 符合 期 望 
响应 d(n) 为 零 均 值 的 假设 。 


2.2.2 正 交 原理 推论 的 几何 解释 


式 (2.13) 提 供 了 一 个 存在 于 最 优 滤波 器 输出 端 最 优 条 件 的 有 趣 的 几何 解释 ,如 图 2.3 所 示 。 

图 中 ,期 望 响应 、 滤 波 器 的 输出 以 及 响应 的 估计 误差 分 别 用 向 量 d.y, 、e, 表示 , y,.e, 中 的 下 标 o 

表示 优化 条 件 的 时 刻 。 可 以 看 出 ,对 于 最 优 滤 波 器 ,估计 误差 向 量 垂 直 ( 正 交 ) 于 滤波 器 输出 向 量 

的 。 需 要 强调 的 是 ,图 2.3 描述 的 状态 只 是 一 个 比拟 ,此 处 随机 变量 和 期 望 分 别 用 向 量 和 向 量 内 

积 代替 。 同 样 地 ,为 了 便于 观察 ,几何 描述 图 可 被 看 做 是 统计 学 的 毕 达 哥 拉 斯 (Pythagorean) 定 理 。 
0 yo 


图 2.3 期 望 响 应 滤波 器 输出 估 值 和 估计 误差 之 间 关 系 的 几何 表示 


© MRS, 由 随机 变量 u, ws,…, wu。 全 体 线性 组 合 而 成 ,就 说 这 些 随 机 变量 张 成 该 特殊 空间 。 换 言 之 , 呐 , 中 每 
个 随机 变量 可 表示 为 ui(i=1,2,…,n) 的 某 种 组 合 
u = whut ... + Ww 


其 中 wi , wz ,… ,ws 为 组 合 系数 。 这 里 假设 空间 QL, 是 有 限 维 的 。 
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2.3 最 小 均 方 误差 


线性 离散 时 间 滤 波 器 如 图 2.1 所 示 。 当 达到 最 优 时 , 式 (2.2) 可 以 写成 以 下 形式 
eo(n) = d(n) ~ Yo( 7) 


= d(n) - a(n|%,) (2-15) 
式 中 第 二 行 ,我 们 利用 了 式 (2.14)。 重 新 安排 式 (2.15) ,有 
d(n) = d(n|U,) + eoln) (2.16) 
4 
Jun = Elle,(n))?] (2.17) 


表示 最 小 均 方 误差 ,对 式 (2.16) 两 边 同 时 取 均 方 值 ,并 应 用 式 (2.13) 和 式 (2.14) 表 示 的 正 交 原 
理 推 论 , 可 得 

o} = oh + Jpn (2.18) 
其 中 co2 是 期 望 响 应 的 方差 ,03 是 估 值 4 (n IU, ) 的 方差 ;它们 都 假设 为 零 均值 。 依 据 最 小 均 方 
误差 准则 求解 式 (2.18) ,得 到 

Jain = 03 一 3 (2.19) 
这 个 关系 式 表明 ,对 于 最 优 滤波 器 ,最 小 均 方 误差 等 于 期 望 响 应 方差 与 滤波 器 输出 估 值 方差 的 
差 值 。 

通过 将 均 方 误差 的 最 小 值 限 定 在 0 与 1 之 间 , 可 以 方便 地 将 式 (2.19) 归 一 化 。 具 体 做 法 

是 ,将 式 (2.19) 两 边 同 时 除 以 cz ,从 而 得 到 





Jain | 0 (2.20) 
o4 ad 


因为 除非 出 现 期 望 响 应 d(z) 均 为 零 这 种 极为 罕见 的 情况 ,一 般 o 为 非 零 , 所 以 上 式 显 然 成 
Zo MES 


Jimin 


e= (2.21) 


e=1- = (2.22) 
Tå 
应 注意 到 :(1) 比 率 s 非 负 ;(2) 比 率 oj/es 总 是 正 数 ,因此 有 
O<eX1 (2.23) 


如 果 s 等 于 0, 最 优 滤波 器 工作 在 理想 状态 下 EREA E d Cnu, ) 
d(n) 完 全 一 致 。 相 反 ,如 果 e 等 于 1, 二 者 很 不 一 致 ,这 对 应 于 最 坏 的 可 能 情况 。 
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2.4 维 纳 - 堆 夫 方程 


式 (2.11) 描 述 的 正 交 性 原理 是 最 优 滤 波 器 的 充 要 条 件 。 若 将 式 (2.1) 与 式 (2.2) 代 人 式 
(2.11) ,可 以 得 到 另 一 个 充 要 条 件 


E| u(n - v(a) 一 Š waur(n 1) | =0 k = 0,1,2,... 
其 中 w, 是 优化 滤波 器 冲 激 响应 的 第 i 个 系数 。 展 开 并 整理 这 个 式 子 ,得 到 
$ waEļu(n — k)u*(n — i)] = Eluln — k)d*(n)] k = 0,1,2... (2.24) 


式 (2.24) 中 的 两 个 期 望 解释 如 下 : 
1) 期 望 El u(n-k)u* (az-D] 等 于 相隔 并 个 延迟 的 滤波 器 输入 的 自 相关 函 数 , 即 
ri-kj= Elu(n — k)u*(n — i)| (2.25) 
2) HA EL u(n-k)d* (n) Se PUR aR A u(n - 1) 与 期 望 响 应 4(n) 相 隔 -大 个 延迟 
的 互相 关 , 即 
p(-k) = Elu(n — k)d*(n)] (2.26) 
因此 ,利用 式 (2.24) 中 式 (2.25) 与 式 (2.26) 的 定义 ,得 到 最 优 滤波 器 的 另 一 个 充 要 条 件 , 即 
Š wart — k) = p(-k), k = 0,1,2,... (2.27) 


式 (2.27) AE FARRA EEA T Be BK AB FAP FP PK RR DK BE 
输入 的 自 相 关 函 数 , 另 一 个 相关 函数 是 滤波 器 输入 与 期 望 响应 的 互相 关 函 数 。 这 个 方程 称 为 
Hth- FE FE ( Wiener-Hopf) 77 2%, 


2.4.1 线性 横向 滤波 器 的 维 纳 - 堆 夫 方程 解 


当 线性 横向 滤波 器 或 者 FIR 滤波 器 用 于 获取 图 2.1 中 期 望 响应 d (n) BIRET, EA- ER 
方程 的 求解 将 大 大 简化 。 现 考虑 图 2.4 的 横向 滤波 器 结构 。 该 滤波 器 包括 三 种 基本 运算 : 存 
fii FARE AAU. 具体 描述 如 下 : 


1) 存储 可 用 OM — 1 个 单 样 值 延 迟 即 延迟 单元 的 级 联 来 表示 ,图 中 每 个 延迟 单元 标识 
xz :。 我 们 把 各 延迟 单元 被 接 人 的 点 称 为 抽 头 点 。 每 个 抽 头 的 输入 为 u(n),u(n 一 1)， 
"uln-M +1), RIE, 4% u(n) 看 做 滤波 器 输入 的 当前 值 时 ,其 余 M - 工 个 抽 头 输 
和 人 wu(n 一 1),…,u(n 一 M+ 1) 都 称 为 滤波 器 输入 的 过 去 值 。 

2) 抽 头 输入 wu(n),w(n -1),…,wu(n 一 及 +1) 与 抽 头 权 值 wo, wiss ww-1 的 内 积 是 用 一 





@ 为 了 从 维 纳 - 霍 夫 方程 (2.27) 求 解 出 最 优 滤波 器 系数 ,需要 应 用 称 为 谱 分 解 的 特殊 技术 。 对 于 这 个 技术 的 描述 以 及 
如 何 用 它 求 解 维 纳 - 霍 夫 方程 (2.27) , 感 兴趣 的 读者 可 参考 Haykin(1989a) 。 
还 应 该 注意 到 ,原来 由 Wiener 和 Hopf (1931) 系 统 阐 述 的 线性 最 优 滤 波 器 方程 是 用 于 连续 时 间 滤 波 器 的 , 而 式 
(2.27) 所 述 系 统 是 表述 离散 时 间 滤 波 器 的 。 
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系列 乘法 器 来 实现 ,图 中 每 个 乘法 都 用 we 等 表示 的 uw(n) 和 w 的 标量 内 积 形成 的 ， 
对 其 他 内 积 也 是 如 此 。 
3) 加 法 器 的 作用 是 将 乘法 器 的 输出 相 加 ,形成 一 个 总 的 滤波 器 输出 。 


u(n—-M+2) u(n—M+1) 





图 2.4 横向 滤波 器 


图 2.4 所 示 的 横向 滤波 器 冲 激 响 应 是 用 一 系列 有 限 抽 头 权 值 wo, wit, ww_1 表 示 的 , 因 
此 , 式 (2.27) 的 维 纳 - 霍 夫 方 程 变 成 M 个 线性 方程 组 


Sli — k) = p(-k) k=0,1,...,.M—1 (2.28) 
i=0 
式 中 20o0，20o1， "5 WwW。 _ 1 是 滤波 器 抽 头 权 值 的 最 优 值 。 


2.4.2 维 纳 - 霍 夫 方程 的 矩阵 形式 


A 及 表示 图 2.4 横向 滤波 器 中 抽 头 输入 u(n),u(n-1),-,ul(n-M+1) AR Mx M 
相关 年 阵 , 即 


R = Elu(n)u"(n)| (2.29) 
其 中 
u(n) = [u(n) u(n — 1),...,u(n -M +1) (2.30) 
是 Mx1l 的 抽 头 输入 向 量 。 以 展开 的 形式 ,相关 和 矩阵 R 可 表示 为 
r(0) r(1) =o M-1) 
md) r(0) i r(M 一 2) (2.31) 
re 一 1) A*(M — 2) .. r(0) 


相应 地 , 令 p 为 滤波 器 抽 头 输入 与 期 望 响应 d(n) 的 Mx1 的 互相 关 向 量 
p = Elu(n)d*(n)| (2.32) 
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其 展开 形式 为 
p = [p(0), p(-1),.... pQ — M)T (2.33) 
注意 ,p Eat AUER IERA, BT ESR (2.28) HOME - BR ES RRR I sk 
Rw, =p (2.34) 
其 中 w, 表示 均 方 误差 意义 上 的 最 优 横向 滤波 器 的 M x 1 抽 头 权 向 量 , 即 
wo= [wo 0, wo wo ml (2.35) 


如 果 相 关 和 矩阵 R 是 非 奇 异 的 ,可 从 式 (2.34) 中 解 出 w,。 为 此 , 式 (2.34) 两 边 同 时 左 乘 以 道 阵 
R ,得 

w, = R'p (2.36) 
最 优 抽 头 权 向 量 w, 的 计算 需要 知道 两 个 条 件 :(1) 抽 头 输入 向 量 u(n) 的 相关 矩阵 R;(2) 抽 头 
输入 向 量 u(n) 与 期 望 响应 4(n) 的 互相 关 向 量 po 


2.5 误差 性 能 曲面 


前 几 节 导出 的 式 (2.34) 的 维 纳 - 霍 夫 方 程 源 于 第 2.2 节 讲 述 的 正 交 性 原理 。 我 们 也 可 以 
从 图 2.4 的 横向 滤波 器 的 抽 头 权 值 的 代价 函数 J 的 关系 式 中 导出 维 纳 - 霍 夫 方 程 。 首 先 ,将 佑 
计 误 差 e(n) 写 成 l 


M-1 
e(n) = d(n) 一 È win —k) (2.37) 


式 中 d(n) 是 期 望 响 应 ,wo ,wi ，,…, wn-1 是 滤波 器 抽 头 权 值 ,w(n),u(n-1),…,u(n-M+1) 
是 相应 的 抽 头 输入 。 因 此 ,我 们 定义 图 2.4 的 横向 滤波 器 的 代价 函数 为 
J = Ele(n)e*(n)] 


M-i M-1 
= E[|d(n)?] - È už Elun — k)d*(n)] 一 D wE|u*(n — k)d(n)] (2.38) 
M-1M-1 
+ ww E[u(n — k)u*(n — i)] 
k=0 i=0 
我 们 看 出 ,上 式 第 二 行 右边 的 四 个 期 望 为 : 
1) 对 于 第 一 个 期 望 , 有 
o} = El\d(n)\’] (2.39) 
式 中 o, 为 期 望 响应 d(z) 的 方差 , 设 其 为 零 均值 。 
2) 对 于 第 二 个 和 第 三 个 期 望 , 分 别 有 
p(-k) = Elu(n — k)d*(n)] (2.40) 


和 
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p*(-k) = Elu*(n — k)d(n)] (2.41) 
式 中 p( -有 ) 是 抽 头 输入 u(n - 大) 与 期 望 响应 d(n) 的 互相 关 。 
3) 最 后 ,对 于 第 四 个 期 望 ,有 
r(i — k) = Elu(n — k)u*(n — i)] (2.42) 
AP r(i - 1 是 相隔 i- k ASTRA BK, 
因此 ,可 把 式 (2.38) 写 成 
M-1 M-1 M-1i M-1 
J=- È wi p(k) 一 È wp” (k) + > > wkwr(i - k) (2.43) 
式 (2.43) 表 明 , 当 横向 滤波 器 的 抽 头 输入 与 期 望 响应 是 联合 平稳 时 ,其 代价 函数 或 者 均 方 
误差 J 正 是 滤波 器 抽 头 权 值 的 二 次 函数 。 因 此 ,可 以 将 /与 抽 头 权 值 wo ,wi ,…, wn_1 之 间 的 
依赖 关系 想像 为 (M + 1) 维 硫 状 曲面 。 该 曲面 具有 用 滤波 器 抽 头 权 值 所 表示 的 M 个 自由 度 ， 
且 有 惟一 的 最 小 值 。 显 然 ,可 将 该 曲面 当做 描述 图 2.4 横向 滤波 器 的 误差 性 能 表面 。 
在 误差 性 能 表面 的 碗 底 或 极 小 点 处 ,代价 函数 J 获得 其 最 小 值 , 表 示 为 Jano TRAA, 
梯度 向 量 VJ 等 于 零 , 即 
Vx/ =0 k=0,1,....M—1 (2.44) 
其 中 VJ 是 梯度 向 量 的 第 让 个 元 素 。 把 第 大 个 抽 头 权 值 写 为 
Wy = ay + jb, 


因此 ,利用 式 (2.43) ,可 以 将 V 写 为 


M-1 (2.45) 
= —2p(-k) +2 X wri — k) 
i=0 


将 式 (2.44) 的 充 要 条 件 用 于 优化 式 (2.45) ,我 们 发 现 图 2.4 横向 滤波 器 的 最 优 抽 头 权 值 wo， 
Wo won-1 满 足 如 下 方程 
Swari — k) = p(-k) k=0,1,...,M —1 
这 个 方程 即 第 2.4 节 导 出 的 维 纳 - 替 夫 方程 (2.28)。 
2.5.1 最 小 均 方 误差 


S d(nlU, ) 表 示 期 望 响 应 d(n) 的 估 值 ,该 期 望 响应 是 在 均 方 误差 意义 上 最 优化 图 2.4 
横向 滤波 器 所 产生 的 输出 。 滤 波 器 输入 u(n),u(n-1),-+,u(n-M +1) KRU, ,从 图 
中 可 以 推出 

M-1 
d(n|U,,) = X w* - 
(n|W,) un k) (2.46) 
= wiu(n) 
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式 中 w, 是 最 优 滤波 器 的 抽 头 权 向 量 , 其 元 素 为 wo Woss won-1,0(n) 是 式 (2.30) 中 定义 
的 抽 头 输入 向 量 。 注 意 weu(n) 表 示 最 优 抽 头 权 向 量 w。 和 抽 头 输入 向 量 a(n) 的 内 积 。 设 
ua(n) 是 零 均 值 的 , 它 使 估 值 d(n IU, ) 也 是 零 均值 的 。 用 式 (2.46) 来 估算 d(nlU, ) 的 方差 ,得 
o} = E[wu(n)u"(n)w,| 
= wł Elu(n)u"(n) |w, (2.47) 
= w' Rw, 
其 中 及 是 式 (2.29) 定 义 的 抽 头 权 向 量 uCn) 的 相关 和 矩阵。 利用 式 (2.34) 我 们 可 以 消除 方差 3 
对 优化 抽 头 权 向 量 w, 的 依赖 关系 。 特 别 地 ,可 将 式 (2.47) 改 写 为 
c3 = pw, 
= p"R™'p 
为 了 计算 由 图 2.4 中 横向 滤波 器 产生 的 最 小 均 方 误差 ,将 式 (2.47) 或 式 (2.48) 代 人 式 
(2.19) ,得 到 


(2.48) 


Jnin = o4 = wI Rw, 
= o} — p”w, (2.49) 
= o} 一 DR 
这 就 是 所 要 的 结果 。 
2.5.2 误差 性 能 曲面 的 规范 形式 
式 (2.43) 定 义 了 图 2.4 中 横向 滤波 器 所 产生 的 均 方 误差 的 展开 形式 。 分 别 利 用 式 
(2.31) 和 式 (2.33) 给 出 的 相关 和 矩阵 R 和 互相 关 向 量 p 的 定义 ,可 以 把 式 (2.43) 重 写 出 为 
J(w) = o} — wip — piw + wRw (2.50) 
其 中 , 均 方 误差 写成 J(w) 是 为 了 强调 它 是 抽 头 权 向 量 w 的 函数 。 第 1 章 指 出 相关 和 矩阵 R 总 
是 非 奇 异 的 , 即 它 的 逆 阵 R-! 总 存在 。 因 此 ,可 以 把 式 (2.50) 写 成 如 下 形式 
J(w) = o} — p"R''p + (w — Rp) Rw— R''p) (2.51) 
从 上 式 可 以 立刻 得 到 
min J(w) = o — p'R'p 
此 时 ， 
w, = Rp 
实际 上 ,从 式 (2.50) 出 发 ,我 们 以 相当 简单 的 方法 重新 导出 了 维 纳 滤波 器 。 此 外 ,我 们 可 利用 
维 纳 滤波 器 的 这 个 定义 式 写 出 
J(w) = Jain + (W — Wo)"R(W — wo) (2.52) 
OPT FR, MARRE REAA w, 因为 这 时 J Cw, ) = Jano 
尽管 式 (2.52) 右 边 的 二 次 型 表达 式 含有 丰富 的 物理 意义 ,但 还 是 有 必要 通过 改变 基底 使 
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误差 性 能 曲面 的 表达 式 简单 化 。 为 此 ,利用 特征 分 解 并 按照 其 特征 值 和 特征 向 量 把 抽 头 输入 
向 量 的 相关 竹 阵 R 表示 为 

R = QAQ” (2.53) 
HEPA SE — id RIKERE A, Al An 的 对 角 阵 , 和 矩阵 Q 的 列 是 与 特征 值 有 关 的 特 
征 向 量 qh Qh ，… ,qx。 将 式 (2.53) 代 人 式 (2.52) ,得 到 


J = Jain + (W = wW) QAQ”(w — wo) (2.54) 
如 果 令 最 优 解 w。 与 抽 头 权 向 量 w 之 差 的 变换 形式 为 
v = Q"(w, — w) (2.55) 
则 将 式 (2.54) 的 二 次 表达 式 代 人 它 的 规范 形式 ,可 得 
J = Jmin + VUAV (2.56) 


这 个 不 含有 交叉 乘积 项 新 的 均 方 误差 表达 式 为 


M 
J = Jan + DAVEE 
E 
M (2.57) 
= Jain 十 ext 


其 中 o, 是 向 量 v 的 第 个 元 素 , 它 使 式 (2.57) 所 表达 的 误差 性 能 曲面 的 规范 形式 变 得 非常 有 
用 ,因为 变换 后 的 系数 向 量 v 的 元 素 构成 了 曲面 的 主轴 。 这 个 结果 的 实际 意义 将 在 后 续 章 节 
中 看 到 。 


2.6 多 重 线性 回归 模型 


式 (2.49) 定 义 的 维 纳 滤波 器 的 最 小 均 方 误差 人 ,是 用 于 长 庆 规 定 ( 即 规定 抽 头 加 权 数 ) 的 
模 向 滤波 器 结构 。 若 横向 滤波 器 长 度 可 调 而 且 将 其 作为 设计 参数 ,如 何 将 J。 降 到 不 可 能 再 
降 的 程度 呢 ? 显然 ,应 该 从 描述 期 望 响应 d(n ) 与 输入 向 量 uCn) 之 间 关系 的 模型 来 寻找 管 案 。 

为 回答 这 个 基础 性 问题 ,做 以 下 三 个 合理 的 假设 : 

1) 模型 是 线性 的 ; 

2) 可 观测 (可 测量 ) 数 据 是 受 噪声 影响 的 ; 

3) 噪声 是 加 性 白 噪声 。 

图 2.5 给 出 符合 这 三 个 假设 的 模型 。 这 个 模型 称 为 多 重 线性 回归 模型 , 它 基 于 如 下 公式 
(Weisberg, 1980) 

dia) = aMu,(n) + v(n) rs (2. 58) 

式 中 a Se SUEY ASSLT uy (5) 表 示 输 入 向 量 或 回归 器 , v (no) RATT Ri, (n) 的 
加 性 自 噪 霹 ;参数 a 也 称 为 回归 向 量 。 只 要 研究 的 随机 环境 是 线性 的 旦 模型 的 阶 数 足够 大 篇 应 
wn) 的 可 测 数据 4(n) 押 产生 的 潜在 机 制 就 可 以 准确 地 通 近 式 (2.58) 的 多 重 回归 模型 。 这 里 向 量 ， 
a Fil u, (0) EA m 维 。 设 o? 表示 噪声 y(n) 的 方差 , 则 提供 期 望 响应 的 可 测 数据 a 





Die 
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oj = Eld(n)d*(n)]| 
= oz 十 a0Ra (2.59) 
其 中 
Rn = Elu,,(n)uy(n)] (2.60) 


是 输入 向 量 的 m x m 相关 矩阵 。 


u(n) TTEA 





图 2.5 多 重 线性 回归 模型 


现在 考虑 一 个 维 纳 滤波 器 ,其 输入 向 量 为 uCn) ,期 望 响应 为 4(n), 产 生 的 最 小 均 方 误差 
为 Ju(M), 且 可 通过 改变 滤波 器 的 长 度 M 来 调整 它 。 输 入 向 量 ua(nr) 与 相应 的 抽 头 权 向 量 
w, BÆ M x 1 的 向 量 。 将 式 (2.59) 代 入 式 (2.49) 的 第 一 行 , 得 到 
Jnin(M) = ay + (a Rna 一 wo Rw.) (2.61) 
PoE aD wi Rw, ,是 一 个 二 次 型 。 选 择 模型 可 以 有 三 种 方式 : 
(1) 欠 拟 合 模 型 (underfitted model): M < m 
这 种 类 型 中 ,对 于 给 定 的 m, 随 着 M 的 提高 , 维 纳 滤波 器 的 性 能 也 提高 。 从 最 坏 的 情 
况 出 发 ,最 小 均 方 误差 也 可 能 以 滤波 器 长 度 M 的 二 次 速率 下 降 , 即 
Jmin(0) = o? + al Ra (2.62) 
(2) 临界 拟 合 模型 (critically fitted model): M = m 
在 临界 点 M = m, 维 纳 滤 波 器 与 回归 模型 理想 匹配 , 即 w, = a,R = R,。 相 应 地 , 维 纳 
滤波 器 的 最 小 均 方 误差 获得 不 可 再 降 的 值 了 , 且 定 义 为 
Jnnin(0) = oF (2.63) 
(3) 过 拟 合 模型 (overfitted model): M > m 
当 维 纳 滤 波 器 长 度 大 于 模型 阶 数 时 , 维 纳 滤 波 器 抽 头 权 向 量 的 尾 端 为 零 , 即 


w = H (2.64) 


相应 地 , 维 纳 滤波 器 抽 头 输入 向 量 为 
u(n) = | Wm) | (2.65) 


Um-m(n) 


@ ”正如 这 里 所 述 的 , “不 可 再 降 误差 (irreducible eror) "不同 于 最 优 滤波 中 所 用 的 术语 。 我 们 说 “不 可 再 降 误 差 ”, 意 指 
由 一 个 可 实现 的 离散 时 间 维 纳 滤波 器 产生 的 最 优 估计 误差 ,该 滤波 器 的 长 度 与 式 (2.58) 所 述 多 重 回归 模型 的 阶 数 
相 匹 配 。 另 一 方面 ,在 文献 中 (如 Thomas,1969),“ 不 可 再 降 ” 这 个 术语 原来 称谓 不 可 实现 的 维 纳 滤波 器 ,该 滤波 器 是 
非 因果 的 ( 即 当 时 间 为 负数 时 ,其 脉冲 响应 并 不 为 零 )。 
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其 中 ,ww_,(n) 是 一 个 (Mm) x 1 向 量 ,该 向 量 由 紧 接着 前 面 m x 1 向 量 u, (n) 的 过 去 数据 
样 值 组 成 。 从 理论 上 讲 , 这 个 最 后 结果 与 临界 拟 合 模型 得 到 的 结果 具有 相同 的 最 小 均 方 误差 
性 能 ,只 是 滤波 器 的 长 度 不 同 而 已 。 

从 上 述 讨论 可 以 明显 看 出 ,理想 的 设计 策略 是 使 维 纳 滤波 器 长 度 M 与 回归 模型 阶 数 m DE 
配 。 在 这 种 临界 情况 下 , 维 纳 滤波 器 产生 的 估计 误差 e。(n) 是 方差 为 o, 的 白 噪声 , 即 具有 式 
(2.58) 回 归 模型 中 加 性 噪声 y(n) 的 统计 特性 。 


2.7“ 示 例 


为 了 解释 前 几 节 盖 述 的 最 优 滤 波 理论 ,考虑 一 个 回归 模型 ,其 阶 数 m = 3, 参 数 向 量 表示 为 
a = [a a, a|" 
设 模型 为 实数 ,其 统计 特性 如 下 : 
(a) 输入 向 量 u(m) 的 相关 矩阵 为 


其 中 虚线 标识 对 应 于 可 变 滤波 器 长 度 的 子 矩 阵 。 
(b) 输入 向 量 an) 和 观测 数据 d(n) 的 互相 关 向 量 为 
p = {0.5272, —0.4458, —0.1003, —0.0126]7 
其 中 ,第 4 个 模型 参数 os 等 于 零 ( 即 模型 阶 数 m 等 于 3, 参见 习题 9)。 
(c) 观测 数据 的 方差 为 
a7 = 0.9486 
(d) 加 性 白 噪声 的 方差 为 
o2 = 0.1066 
要 求 做 三 件 事 : 
@ 求 可 变 长 度 分 别 为 M = 1,2,3,4 的 维 纳 滤波 器 最 小 均 方 误差 ,的 方差 ; 
o 画 出 长 度 为 M =2 的 维 纳 滤波 器 的 误差 性 能 曲面 ; 
© 计算 误差 性 能 曲面 的 规范 形式 。 
滤波 器 长 度 为 M 时 最 小 均 方 误差 Jon 的 方差 
模型 阶 数 M = 3 的 实 值 回 归 模型 为 
d(n) = a,u(n) + ayu(n — 1) + aufn 一 2) + y(n) “ (2.66) 
其 中 a, =0, 对 所 有 84>3。 表 2.1 总 结 了 由 M=1,2,3,4 维 纳 滤波 器 产生 的 M x 1 最 优 抽 头 权 
向 量 和 最 小 均 方 误差 J,( MM) 的 计算 结果 。 该 表 也 给 出 计算 式 (2.36) 和 式 (2.49) 所 需要 的 相 
KEE R 和 互相 关 向 量 p 合适 的 值 。 
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表 2.1 可 变 长 度 为 M 的 维 纳 滤波 器 总 结 





滤波 器 长 度 M ”相关 矩阵 及 互相 关 向 量 p BRR AEA 
o 
1 [1.1] [0.5272] [0.4793] 
2 [1 0.5] [ 0.5272 [ 0.8360 
0.5 1.1 — 0.4458 — 0.7853 
1.1 0.5 0.1 0.5272 0.8719 
3 [o's 1.1 o.s] | -oass] | -0:9127 
0.1 0.5 1.1 -0.1003 0.2444 
1.1 0.5 0.1 -0.05 0.5272 0.8719 
4 0.5 1.1 05 0.1 -— 0.4458 -0.9129 
0.1 0.5 1.1 0.5 -0.1003 0.2444 
-0.05 0.1 0.5 1.1 ~ 0.0126 0 


最 小 均 方 误差 
J min( M) 


0.6959 


0.1576 


0. 1066 


图 2.6 显示 出 长 度 为 M 的 维 纳 滤波 器 最 小 均 方 误差 Ju (MM) 的 方差 ,图 中 包含 了 对 应 于 
最 坏 可 能 情况 的 点 : M = 0, Jan (0) = cd。 注 意 当 滤 波 器 长 度 M 从 1 变 到 2 时 ,最 小 均 方 误差 


值 有 一 个 很 陡峭 的 下 降 。 
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图 2.6 Js( 必 ) 随 维 纳 滤波 器 长 度 的 变化 情况 
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误差 性 能 曲面 
当 滤波 器 长 度 M =2 时 ,最 小 均 方 误差 与 2x 1 抽 头 权 向 量 w 之 间 的 函数 关系 [根据 式 
(2.50) ] 为 


_ _ _ Wo 1.1 0.5 Wo 
J(wo, wi) = 0.9486 — 2[0.5272, 044s8]| | + fm] 05 11 || w, 
= 0.9486 — 1.0544 wy + 0.8961 wi + wow, + 1.1(w} + w?) (2.67) 


图 2.7 是 以 抽 头 权 值 we 和 w 为 变量 的 均 方 误差 J(wo ,wi ) 的 三 维 图 。 





图 2.7 两 抽 头 横向 滤波 器 误差 性 能 曲面 


图 2.8 是 最 小 均 方 误差 J 变化 时 抽 头 权 值 wo 与 w 的 等 高 线 图 。 由 图 可 见 ,对 于 固定 的 
J ,wo 与 w 的 轨迹 是 一 个 椭圆 ,椭圆 形 轨迹 随 着 J 逐渐 趋向 于 最 小 值 J 而 渐渐 收缩 。 当 、 
J= J 时 ,轨迹 收缩 成 一 个 点 ;如 。=0.8360,w,; = -0.7853, 即 最 优 抽 头 权 向 量 为 


w, = | 28360 (2.68) 
° 一 0.7853 


根据 式 (2.49) ,得 最 小 均 方 误差 为 


Oe | 


Jmin = 0.9486 — [0.5272 -0.4458]| 0 7853 


(2.69) 
= 0.1579 

最 优 抽 头 权 向 量 w, = [0.8360, - 0.7853]? 与 最 小 均 方 误差 J], = 0.1579 的 联合 所 表示 的 点 确 

定 了 图 2.7 中 误差 性 能 曲面 的 底部 ,或 者 图 2.8 中 等 高 线 的 中 心 。 
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1.00 
Wo 


图 2.8 图 2.7 描述 的 误差 性 能 曲面 的 等 高 线 图 


2.7.1 误差 性 能 曲面 规范 形式 的 计算 
为 了 进行 特征 值 分 析 , 首 先 表示 2 x 2 相关 和 矩阵 


1.1 0.5 
R= E a 
11-A 05 
05 11-A 


(1.1 ~ A)? — (0.5)? = 0 
因此 ,相关 矩阵 R 的 两 个 特征 值 为 
Ài = 1.6 An = 0.6 
根据 式 (2.57) ,规范 的 误差 性 能 曲面 定义 为 
Tv 02) = Jmin + 1.6 vf + 0.6 03 (2.70) 
对 于 某 一 固定 的 I - Jati o 与 v 的 轨迹 是 一 个 椭圆 。 实 际 上 ,这 个 椭圆 沿 o 方向 有 副 轴 


(52) , 沿 v 方向 有 主轴 Lola)? ,其 中 假设 41 > A20 


的 特征 方程 , 它 由 该 矩阵 的 行列 式 


给 出 , 即 
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2.8 线性 约束 最 小 方差 滤波 器 


维 纳 滤波 器 的 本 质 是 使 估计 误差 (定义 为 期 望 响应 与 滤波 器 实际 输出 之 差 ) 均 方 值 最 小 
化 。 在 解决 这 个 最 优化 问题 时 ,没有 对 它 的 解 施加 任何 约束 条 件 。 然 而 ,在 一 些 滤波 应 用 中 ， 
人 们 希望 所 设计 的 滤波 器 在 一 定 约束 条 件 下 使 均 方 误差 最 小 化 。 例 如 ,要 求 最 小 化 线性 滤波 
器 的 平均 输出 功率 而 同时 约束 滤波 器 在 一 些 特定 的 感 兴趣 频率 上 响应 保持 恒定 。 本 节 就 来 解 
决 这 类 问题 。 

考虑 图 2.9 所 示 的 线性 横向 滤波 器 。 滤 波 吕 输入 为 u(n),u(n-1),7+,u(n- M +1), W] 
输出 为 


M-i 
y(n) = 2 wiuln -= k) (2.71) 
FEZA RRR 
u(n) = e/*" (2.72) 
可 以 将 式 (2.71) 写 为 
M-i 
y(n) =e" X wie ™ (2.73) 
k=0 
RF, o 是 归 一 化 激励 角 频 率 , 而 和 式 是 滤波 器 的 频率 响应 。 


u(n — M + 2) u(n -— M +1) 





图 2.9 线性 横向 滤波 器 
现在 想 要 解决 的 约束 最 优化 问题 可 描述 如 下 : 
寻找 一 组 最 优 的 滤波 器 系数 wo,o ,wo,1，…，wo,n-1, 使 得 在 如 下 线性 约束 条 件 下 


M-i . 
Dd wie = g (2.74) 
k=0 


滤波 器 输出 y(n) 的 均 方 误差 最 小 ;其 中 wo 是 归 一 化 角 频 率 v 的 指定 值 , 取 值 范围 为 
-XxX<w<n,8 是 一 个 复 值 增 益 。 
式 (2.71) 和 式 (2.74) 描 述 的 是 时 域 约束 最 优 滤波 问题 。 我 们 可 通过 考虑 图 2,10 中 权 值 可 


调 ( 没 有 画 在 图 中 )、 天 线 元 素 均 匀 间 隔 的 线性 阵列 构成 的 波 东 形成 器 ,从 空间 角度 表示 该 问 
题 。 这 个 阵列 被 来 自 远方 的 各 向 同性 的 源 信号 照射 ,比如 在 时 刻 ,一 个 平面 波 沿 着 与 阵列 垂 
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直方 向 (法 线 ) 成 6 角度 的 方向 入 射 到 阵列 上 。 假 设 阵列 元 素 间 的 间隔 小 于 4/2(4 为 传输 信 
号 的 波长 ) ,以 满足 空间 域 取 样 理 论 。 所 产生 的 波束 形成 器 输出 为 
M-1 
y(n) = uo(n) 2 wee (2.75) 
其 中 用 电 角 度 6, 表示 的 到 达 方 向 与 实际 角度 ¢, 有 关 ; uo(n) 是 天 线 元 素 采 和 集 到 的 电信 号 ;图 
2.10 中 0 表示 参考 点 ;w 表示 波束 形成 器 的 权 值 。 因 此 空间 型 约束 优化 问题 可 以 描述 为 ; 
寻找 一 组 权 值 元 素 wo， Woi 0 ,使 得 在 如 下 线性 约束 条 件 下 


M-1 . 
S wje’ = g (2.76) 
k=0 


波束 形成 器 的 输出 均 方 值 最 小 化 ;其 中 ,go 是 电子 角 频 率 的 指定 值 , 取 值 范围 在 -区 <0<r， 
g 是 一 个 复 增 益 。 波 束 形 成 器 响应 仅仅 被 约束 在 单 频 范 围 内 。 从 这 个 意义 上 ,我 们 说 波 
RERERE PH. 

ARB 





MA Hen RAL BAB RE 
图 2.10 平面波 入 射 到 线性 阵列 天 线 上 


比较 图 2.9 的 时 间 域 结构 和 图 2.10 的 空间 图 可 以 看 出 ,虽然 它们 表示 了 完全 不 同 的 物理 状 
态 ,但 从 数学 角度 看 是 等 效 的 。 实 际 上 ,对 我 们 来 讲 ,都 是 对 同一 个 约束 最 优化 问题 进行 研究 。 
我 们 采用 将 在 附录 C 中 讨论 的 拉 格 朗 日 乘 子 法 (method of Lagrange multiplier) 来 求解 这 个 
约束 最 优化 问题 。 首 先 定 义 一 个 实 值 代价 函数 J, 它 包含 约束 优化 问题 的 两 个 部 分 , 即 
M-1 M-1 M-1 
J= > X wřwr(i- k) + Re| x:( Dd whe ik 一 s)| 
k=0 0 k= 
输出 功率 -线性 约束 
其 中 4 是 一 个 复 值 拉 格 朗 日 乘 子 。 注 意 ,在 J 的 定义 中 没有 期 望 响 应 ,而 是 包含 了 波束 形成 
中 指定 电 角度 值 6, 必须 满足 的 线性 约束 ;或 者 等 效 地 ,横向 滤波 中 角 频 率 wo 必须 满足 的 线性 
约束 。 但 是 无 论 对 哪 种 情况 ,强加 的 线性 约束 条 件 都 保护 了 感 兴 趣 的 信号 ,代价 函数 j 的 最 
小 化 削弱 了 干扰 或 噪声 ,但 车 不 加 限制 也 会 带 来 某 些 麻烦 。 
我 们 希望 解 出 波束 形成 器 元 素 权 值 的 最 优 值 , 即 最 小 化 式 (2.77) 定 义 的 J。 为 此 ,定义 梯 
度 向 量 只, 并 设 其 为 零 。 因 此 ,采用 与 第 2.2 节 类 似 的 做 法 ,得 到 梯度 向 量 V 的 第 上 个 元 素 为 


(2.77) 


M-1 
Vid = 2 5 wir(i — k) + Ate jook (2.78) 
i=0 


A> w,,; 为 最 优 权 向 量 w, 的 第 i 个 元 素 , 则 波束 形成 器 的 最 优 性 条 件 描 述 为 
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M-t r* , 
S wri 7 k) = -7e k= 0, 1,... > M-1 (2.79) 
i=0 


这 W 个 联 立 方程 组 定义 了 波束 形成 器 最 优 权 值 。 它 在 形式 上 有 些 类 似 于 维 纳 - 霍 夫 方程 
(2.28)。 
据 此 分 析 ,我 们 可 以 方便 地 将 它 转 成 矩阵 形式 ,从 而 将 式 (2.79) 的 M 个 联 立 方程 组 写成 


A* 
Rw, = 一 本 sbo (2.80) 


AEF R Æ Mx MIRER; w, 是 带 约束 波束 形成 器 的 MN x1 最 优 权 向 量 。M x1 转向 (steer- 
ing) 向 量 定义 为 

s(00) = [1,e%,..., eiM 1) (2.81) 
求解 式 (2.80) ,得 到 w, 为 


A* 
Wo = > R-!s(00) (2.82) 


AP R ”是 相关 矩阵 及 的 逆 阵 ,并 设 RR 是非 奇异 的 。 这 个 假设 在 实际 中 已 被 完全 证 实 , 因 为 在 波 
束 形成 器 中 ,系统 的 每 个 天 线 元 素 输出 的 接收 信号 包含 了 表示 传感器 噪声 的 白 ( 热 ) 噪 声 分 量 。 

式 (2.82) 给 出 的 最 优 权 向 量 w。 的 求解 并 不 十 分 完整 ,因为 它 包含 了 未 知 的 拉 格 朗 日 乘 子 
A (BA HE Bi Sh Uh IESE) BEM RIA BIB A” , 先 利用 式 (2.76) 的 线性 约束 条 件 写 出 


wis(00) = g (2.83) 


因此 ,对 式 (2.82) 两 边 做 埃 尔 米 特 变换 ,再 乘 以 s(b) ,然后 利用 式 (2.83) 的 线性 约束 条 件 , BD 
得 
28 
=> sH (0) Rs(00) (2.84) 


这 里 利用 了 等 式 R“=R !'。 二 次 型 s”(0,)R  s(b) 是 一 个 实数 。 因 此 ,将 式 (2.84) 代 人 式 
(2.82) ,可 得 期 望 的 最 优 权 向 量 为 
g*R Is(60) 
“or s” (0o) R s(80) 

注意 ,由 于 在 式 (2.83) 线 性 约束 条 件 下 使 输出 功率 最 小 化 , 沿 不 同 于 的 方向 和信 射 到 天 
线 阵列 上 的 信号 被 削弱 了 。 

显然 ,以 权 向 量 w, 表 征 的 波束 形成 器 称 为 线性 约束 最 小 方差 (LCMV linearly constrained mini- 
mum-variance) 波 束 形成 器 。 对 于 零 均 值 输入 从 而 零 均值 输出 的 情况 "最 小 方差 "与 "最 小 均 方 差 ” 
是 同 义 的 。 而 且 , 根 据 前 述 , 用 w (REO, 后 , 式 (2.85) 的 解 称 为 LCMV 滤波 器 。 


(2.8.1 最 小 方差 无 失真 响应 波束 形成 器 


复 常 数 g 定义 了 电 角 度 为 0, 的 LCMV 波束 形成 器 的 响应 。 在 g = 1 的 特殊 情况 下 , 式 
(2.85) 的 最 优 解 可 简化 为 


(2.85) 
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Rs(bo) 
7 si(90)R-1s(00) 
式 (2.86) 定 义 的 波 东 形成 器 响应 是 在 电 角 度 0。 等 于 1 的 约 东 条 件 下 获得 的 。 换 句 话 说 ,这 个 
波束 形成 器 被 约束 成 沿 着 对 应 于 9, 的 观测 方向 产生 无 失真 响应 。 
现在 ,最 优 波束 形成 器 输出 的 最 小 均 方 值 可 表示 为 二 次 型 

Join = Wo Rw, (2.87) 

因此 ,将 式 (2.86) 代 人 式 (2.87) 并 简化 后 得 到 


wo (2.86) 


1 
s(6,)R-'5(6,) (2.88) 
最 优 波束 形成 器 被 限制 为 在 单位 响应 下 通过 目标 信号 ,同时 使 总 输出 方差 最 小 化 。 方 差 的 最 
小 化 过 程 削弱 了 不 在 电 角度 b 方向 上 的 干扰 和 噪声 。 因 此 , Ja RRN Oy 方向 人 射 到 天 线 阵 
列 的 信号 方差 估 值 。 我 们 可 以 通过 将 Je 表示 为 9 的 函数 ,推广 这 个 结果 并 获得 以 方向 为 变 
量 的 方差 估 值 函数 。 为 此 ,定义 MVDR( 空 间 ) 功 率 谱 为 


1 
SMvpr(0) = s”(6)Rs(6) (2.89) 


Jimin 





式 中 

s(0) = [1, e, oe PMD] (2.90) 
在 图 2.10 的 波束 形成 情况 下 ,我 们 将 Mx 1 向 量 s(0) 称 为 空间 扫描 向 量 ,并 用 带 o 的 频率 扫 
描 向 量 代替 图 2.9 横向 滤波 器 中 的 9。 依 据 定 义 , Sywr (0) 或 Swna(ow) 都 具有 功率 的 量 纲 。 
对 波束 形成 器 输入 来 讲 , 它 依赖 于 电 角 度 0; 而 对 横向 滤波 器 输入 而 言 , 则 依赖 于 角 频 率 w , 故 
丝 称 之 为 功率 谱 估 计 。 实 际 上 , 它 通常 称 为 MVDR 谱 了 ?。 注 意 , 对 于 某 一 瞬间 的 任意 一 个 w， 
对 应 于 其 他 角 频 率 的 功率 都 被 最 小 化 了 。 因 此 ,与 第 1 章 所 讨论 的 以 功率 谱 定 义 为 基础 的 非 
参数 法 相 比 ,MVDR 谱 具 有 更 尖 的 峰值 和 更 高 的 分 辩 率 。 


2.9 广义 旁 瓣 消除 器 


继续 讨论 式 (2.76) 线 性 约束 定义 的 LCMV 罕 带 波束 形成 器 ,注意 这 个 约束 实际 上 是 一 个 
内 积 


wis(00) = g 
其 中 ww 是 权 向 量 ,s(6.) 是 指向 电 角度 b 的 M x1 转向 向 量 ,其 中 M 是 波束 形成 器 天 线 元 素 
的 数目 。 我 们 将 这 个 线性 约束 的 概念 推广 ,引入 多 重 线性 约束 的 定义 , 即 
C'w=¢ (2.91) 


© 式 (2.89) 给 出 的 公式 归功 于 Capon(1969)。 在 文献 中 , 它 称 为 最 大 似 然 方法 (MLM, maximum-likelihood method). 4 
而 ,这 个 公式 实际 上 对 经 典 的 最 大 似 然 原理 并 没有 什么 影响 。 因 此 ,对 该 公式 不 推荐 使 用 MLM 术语 。 
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矩阵 C 称 为 约束 矩阵 ,向量 g 称 为 增益 向 量 , 其 元 素 为 常数 元 素 。 设 共有 上 工 个 线性 约束 条 件 ， 
则 C 是 一 个 Mx LER, g 是 一 个 工 x1 向 量 ; 矩阵 C 的 每 一 列表 示 一 个 线性 约束 。 更 进 一 
步 ,假设 约束 矩阵 C 拥有 线性 独立 的 列 。 例 如 ,具有 


[ (6), s(6,)|7w = H 


罕 带 波束 形成 器 受到 约束 ,以 便 保 护 沿 电 角 度 9, 方向 投射 到 阵列 上 的 感 兴趣 信号 , 同时 抑制 
沿 电 角 度 6, 方向 发 生 的 已 知 干扰 。 
令 Mx(M -LYER C, 的 列 向 量 定义 为 矩阵 C 的 列 向 量 张 成 的 空间 的 正 交 补 (orthogonal 
complement) 空 间 的 基 。 利 用 正 交 补 空间 的 定义 ,我们 可 以 写 出 
CaC, =O (2.92) 
或 者 
cfCc=0 (2.93) 
sh (2.92) PAUSE OF: Lx (M — 万 ) 和 矩阵 ,而 在 式 (2.93) 中 , 零 矩 阵 O FEC M- L) x 工 维 的 ， 
自然 有 M > L。 现 在 ,我 们 定义 一 个 M x M 分 块 矩阵 
U =[C:¢,] (2.94) 
其 列 向 量 张 成 M 维 信号 空间 。 由 于 矩阵 U TIES , ARENE U- 总 是 存在 。 
其 次 ,将 轩 x1 波束 形成 器 权 向 量 依据 矩阵 U 写 为 
w = Uq (2.95) 
eh Mx 1 向 量 qg EMH 
q = U'w (2.96) 
按照 与 式 (2.94) 相 容 的 方式 ,将 q 分 割 为 两 部 分 


q = Ea (2.97) 


其 中 v 是 一 个 Lx1 向 量 ;w, 是 一 个 (MN -L) x 1 向量 , 它 为 权 向 量 w 不 受 约束 的 部 分 。 将 式 
(2.94) 和 式 (2.97) 代 人 式 (2.95) ,得 到 


“lc ol] (2.98) 
=Cv— C,w 
利用 式 (2.91) 的 多 重 线性 约束 ,得 到 
CICv — CICsws =g (2.99) 
但 是 ,从 式 (2.92) 可 知 ,C”C, 等 于 零 ; 从 而 式 (2.99) 变 为 
C"Cv =g (2.100): 


对 向 量 求解 上 式 , 得 到 
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v = (CC) 7g (2.101) 
从 中 可 以 看 出 ,多 重 约束 并 没有 影响 w, o 
下 面 ,将 固定 的 波束 形成 器 分 量 定义 为 
w, = Cv = CCHC)g (2.102) 
由 于 式 (2.93) 所 描述 的 特性 ,w, EXTERE C, 的 列 向 量 。 在 w, 中 采用 下 标 4 的 合理 性 在 后 
面 将 会 看 得 很 清楚 。 依 据 这 个 定义 ,可 利用 式 (2.98) 将 波束 形成 器 中 的 所 有 权 向 量 表示 为 
W= wy — C,w, (2.103) 
将 式 (2.103) 代 入 式 (2.91) ,得 到 
Cw, — C"C,w, =g 
利用 式 (2.92) ,上 式 可 简化 为 
Ciw =g (2.104) 
式 (2.104) 表 明 , 权 向 量 w, 是 权 向 量 w 满足 约束 条 件 的 部 分 。 相 反 ,向 量 w。 是 不 受 约束 条 件 
影响 的 部 分 ,因此 它 提供 了 构成 波束 形成 器 设计 的 自由 度 。 因 此 ,依据 式 (2.103) ,波束 形成 器 
可 以 用 如 图 2.11(a) 所 示 的 框图 来 表示 ,这 样 设计 的 波束 形成 器 称 为 广义 旁 瓣 消除 器 (GSC， 
generalized sidelobe canceller)®, 
依据 式 (2.102) ,可 进行 波束 形成 器 输出 y(n) 的 均 方 值 相 对 于 可 调 权 向 量 w, 的 无 约束 最 
小 化 。 依 据 式 (2.75) ,波束 形成 器 的 输出 定义 为 如 下 内 积 形式 
y(n) = wiu(n) (2.105) 
式 中 
u(n) = uo(n)[1, e, ..., eH MDM]? (2.106) 
是 输入 信和 号 向 量 。 其 中 , 电 角 度 6, 定义 为 人 射 平面 波 的 到 达 方 向 , wo(n) 是 n 时 刻 被 图 2.10 
中 线性 天 线 阵 列 的 元 素 0 捕捉 到 的 电信 和 号。 因此 ,将 式 (2.103) 代 人 式 (2.105) ,得 到 


y(n) = wou(n) — we Ca uln) (2.107) 
WREX 
wiu(n) = d(n) (2.108) 
和 
CHu(n) = x(n) (2.109) 
则 可 以 将 式 (2.107) 重 写成 类 似 于 标准 维 纳 滤波 器 的 形式 , 即 
y(n) = d(n) — wi x(n) (2.110) 


式 中 d(n) 起 到 GSC 中 的 “期 望 响 应 ”的 作用 ,而 x(m) 扮 演 了 输入 向 量 的 角色 ,如 图 2.11(b) 所 





© 广义 旁 瓣 消 除 器 的 本 质 可 追溯 到 由 Hanson 和 Lawson(1969) 提 出 的 线性 约束 二 次 优化 问题 的 求解 方法 。 术 语 “ 广 义 旁 
办 消除 器 ”是 由 Griffiths 和 fim(1982) 创 造 的。 对 于 该 消除 器 的 讨论 ,参见 Van Veen 和 Buckley(1988) 和 Van Veen(1992)。 
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示 。 可 以 看 出 ,向 量 w, 和 矩阵 C。 的 结合 可 将 线性 约束 优化 问题 转化 为 一 个 标准 的 最 优 滤 波 
问题 。 具 体 来 讲 ,我 们 现在 有 只 涉及 权 向 量 中 可 调 部 分 w。 的 无 约束 最 优化 问题 , 即 

min E[|y(»)|"] = min(o3 — wip, 一 pw, + wi Rew,) (2.111) 

其 中 ,p, ACM-L) x1 互 相关 向 量 

px = E[x(n)d*(n)] (2.112) 
R, ACM - L) x (M — L) FASC REE 

R, = E[x(n)x"(n)] (2.113) 





(a) J SRA ee 





(bj HE Sy BREA OC Fa SE Ho 
图 2.11 广义 旁 瓣 消除 器 框图 及 其 问题 示意 图 
式 (2.111) 的 代价 函数 是 未 知 向 量 w, 的 二 次 函数 , 它 体 现 了 前 面 所 阐明 的 GSC 的 可 用 自 
由 度 。 更 重要 的 是 ,这 个 代价 函数 与 式 (2.50) 定 义 的 标准 维 纳 滤波 器 具有 完全 相同 的 数学 形 
式 。 因 此 ,很 容易 利用 前 面 的 结果 得 到 w。 的 优化 值 
Wao = Rx!Ppx (2.114) 


sh (2.108) FEE (2.109) FLASK (2.112) ,得 到 
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px = E[CHu(n)u’ (n)w] 
= C#Elu(n)u"(n) |w, (2.115) 
= C} Rw, 
式 中 及 是 输入 数据 向 量 u(n BSR. E, ESR (2.109) RAZR (2.113) TAERE 及 .的 
表达 式 为 
R, = E[C#u(n)u"(n)C,] 
= CHRC, 
因为 输入 数据 总 是 包含 一 些 加 性 传感器 噪声 且 R, 是 非 奇 异 的 , 故 和 矩阵 C, 是 满 秩 阵 , 而 相关 
矩阵 及 是 正定 阵 。 因 此 , 式 (2.114) 的 最 优 解 可 重 写 为 
Wao = (CHRC,) C# Rw, (2.117) 
设 P, 表示 利用 最 优 解 ws 得 到 的 CSC 最 小 输出 功率 。 那 么 ,改写 前 面 式 (2.49) 导 出 的 标 
准 维 纳 滤波 器 的 结果 ,并 继续 采用 类 似 于 刚刚 介绍 的 方法 ,我 们 可 将 已 表示 为 
P, = 04 — př Rp, 
= wi Rw, — w? RC,(C7RC,) ‘Ci Rw, 
现在 考虑 静 噪 环境 (quiet environment) 的 特殊 情况 , 即 接收 到 的 信号 只 包含 起 作用 白 噪 声 
的 情况 。 设 相关 和 矩阵 满足 如 下 方程 


(2.116) 


(2.118) 


R= ol (2.119) 
其 中 I 是 Mx M 的 单位 阵 ,o? 是 噪声 方差 。 在 这 个 条 件 下 ,从 式 (2.117) 容 易 发 现 
Wao = (CHC) CHw, 
根据 定义 , 权 向 量 w, EXTERE C, 的 列 向 量 。 由 此 可 知 ,最 优 权 向 量 w。 在 式 (2.119) 所 示 
的 静 噪 环境 下 等 于 零 。 由 于 wu 等于零, 则 从 式 (2.103) 可 求 出 w= w,。 正 是 由 于 这 个 原因 ， 
w, 通常 称 为 静态 权 向 量 (quiescent weight vector) ,因而 用 下 标 g 表示 它 。 
2.9.1 w, 和 C, 的 滤波 解释 


静态 权 向 量 w, 和 和 矩阵 C, 在 GSC 工作 中 起 着 关键 作用 。 为 了 导出 其 物理 解释 ,考虑 时 域 
表示 的 MVDR 谱 估 计 器 。 对 此 ,我 们 有 


C= s(wo) 
= [Le ,eM -luo]T (2.120) 
Al 
g=1 
因此 ,使 用 式 (2.102) 中 这 些 值 ,得 到 对 应 的 静态 权 向 量 , 即 
w, = C(C<C) 'g 
(2.121) 


= 5 [1.0% ..., eM Doo]T 
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它 表 示 一 个 长 度 为 M 的 FIR 滤波 器 ,这 个 滤波 器 的 频率 响应 为 
1 Mt w 
wis(w) = M Zee ) 


1 一 eiM(wo~w) 


1 eflwo-a) 
1—elm (2.122) 


{mM 
sin ac - »)} j(M - 1) 
OT] exp ae (wo 一 w)) 
sin (3 (wo 一 a)) 
图 2.12(a) 示 出 当 M=4, coy = 1 时 该 滤波 器 的 幅度 响应 。 从 图 中 可 清楚 看 出 ,基于 静态 权 


向 量 w, 的 FIR 滤波 器 起 着 类 似 于 以 角 频 率 wo 为 谐振 频率 的 带 通 滤波 器 那样 的 作用 ,其 中 
MVDR 频谱 估计 器 受到 某 种 约束 以 便 产 生 无 失真 响应 。 











幅度 响应 











(b) ; 
— = |l-expG(a-a))| 


一 一 = |l—exp(/2(0-))| 
一 -一 = |l-exp(3(@-«,))| 
图 2.12 (a) 将 wi s(w) AK FIR 滤波 器 响应 ; (b) 将 矩阵 C。 


的 每 一 列 看 做 一 个 带 阻 滤波 器 。 图 中 假设 wo = 1 


下 面 考虑 矩阵 C。 的 物理 解释 ,将 式 (2.120) 用 于 式 (2.92) ,得 到 
s(w)C, = 0 (2.123) 


根据 式 (2.123),(M - L) SNR C。 中 的 每 一 列 都 表示 一 个 在 wo 处 幅度 响应 为 零 的 FIR 滤波 
器 , 当 wo =1,M=4, 工 =1, 以 及 
-1 -1 -1 


ei 0 0 
C, = 0 e7 j2w0 0 
0 0 e7% 


如 图 2.12(b) 所 示 。 换 名 话说 ,矩阵 C, 可 以 用 带 阻 滤波 器 组 来 表示 ,其 中 的 每 个 滤波 器 调谐 
在 we 上。 因此 ,C。 称 为 信号 阻塞 矩阵 (signal-blocking matrix) , 它 阻 断 了 角 频 率 处 的 接收 信号。 
矩阵 C, 的 功能 是 消除 静态 权 向 量 为 w, 的 带 通 滤波 器 旁 瓣 渗 漏 出 来 的 干扰 。 


2.10 本 章 小 结 


本 章 讨 论 的 离散 时 间 维 纳 滤波 理论 是 从 维 纳 关于 连续 时 间 信号 的 线性 最 优 滤波 器 这 个 开 
拓 性 工作 演变 过 来 的 。 维 纳 滤波 器 的 重要 性 在 于 , 它 为 广义 平稳 随机 信号 的 线性 滤波 提供 了 
一 个 参考 框架 。 

维 纳 滤波 器 具有 两 个 重要 特性 ， 


1) 正 交 性 原理 ” 维 纳 滤波 器 产生 的 误差 信号 (估计 误差 ) 正 交 于 它 的 抽 头 输入 信和 号 ; 

2) 误差 信号 统计 表征 为 白 噪声 ” 当 滤 波 器 长 度 与 描述 观测 数据 ( 即 期 望 响应 ) 产 生 的 多 
回归 模型 阶 数 匹 配 时 ,这 个 条 件 成 立 。 

归 入 维 纳 滤 波 理论 范围 的 滤波 器 结构 有 两 种 不 同 的 物理 类 型 : 


o 横向 滤波 器 ,以 有 限 脉 冲 响应 为 特征 。 
© AT BORE Beat, 由 一 组 权 值 可 调 、 间 隔 均匀 的 天 线 元 素 组 成 。 


这 两 个 结构 具有 相同 的 特征 :它们 都 是 线性 系统 的 实例 ,其 输出 都 定义 为 权 向 量 与 输入 向 
量 的 内 积 。 涉 及 这 种 结构 的 最 优 滤波 器 都 是 维 纳 - 霍 夫 方 程 的 具体 体现 ,其 解 都 包含 两 个 集 平 
HER: 


e HAERERE. 
o $A m ESA AREE, 


维 纳 滤波 的 标准 表达 式 中 要 求 具备 期 望 响 应 。 但 在 许多 应 用 中 ,无 法 得 到 这 样 的 响应 。 
对 于 这 些 应 用 ,可 以 利用 一 类 称 为 线性 约束 最 小 方差 (LCMV) 的 线性 最 优 滤波 器 或 者 LCMV 波 
东 形 成 器 ,这 取决 于 该 应 用 是 在 时 间 域 还 是 空间 域 。LCMV 方法 的 本 质 在 于 ,在 对 权 向 量 的 一 
组 线性 约束 条 件 下 使 滤波 器 平均 输出 功率 最 小 。 施 加 约束 的 目的 是 为 了 防止 权 向 量 消除 了 感 
兴趣 的 信和 号。 为 了 满足 多 重 约束 要 求 ,可 利用 广义 旁 鸭 消除 器 (GSC) ,其 权 问 量 分 为 两 个 部 
分 : 

e 静态 权 向 量 , 它 满足 规定 的 约束 条 件 。 
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9 无 约束 权 向 量 ,对 这 部 分 权 向 量 的 优化 就 是 依据 维 纳 滤波 理论 使 接收 机 噪声 和 干扰 信 
号 的 影响 最 小 。 


2.11 习题 


1， 复 变量 z = x + 的 函数 f(z) 成 为 解析 函数 的 必要 条 件 是 它 的 实 部 w(x*,y) 和 虚 部 v(x,y) 
必须 满足 柯 西 - 黎 曼 (Cauchy-Riemann) 方 程 (对 于 复 变 量 情况 的 讨论 ,参见 附录 A)。 通 过 如 
下 步骤 证 明 式 (2.43) 定 义 的 代价 函数 J 不 是 权 值 的 解析 函数 。 
(a) ERF p* (-—k) w, 是 复 抽 头 权 值 (滤波 器 的 系数 )w 的 解析 函数 。 
(b) 证 明 乘 积 wi p( -〖) 不 是 解析 函数 。 

2. 考虑 一 个 维 纳 滤 波 问题 ,其 抽 头 输入 向 量 on) RH RW 


1 0.5 
R= [os 1 | 
抽 头 输入 向 量 u(n) 与 期 望 响应 4(n) 的 互相 关 向 量 为 
p = [0.5, 0.25]7 
(a) 求 维 纳 滤 波 器 的 抽 头 权 值 。 
(b) 这 个 维 纳 滤波 器 所 产生 的 最 小 均 方 误差 是 多 少 ? 


(c) MER R 的 特征 值 和 相应 的 特征 向 量 表示 维 纳 滤 波 器 。 
3. 给 定 如 下 条 件 ,重复 习题 2 的 (a),(b),(e) 


1 0.5 0.25 
R=/05 1 05 
0.25 05 1 


p = (0.5, 0.25, 0.125] 


注意 ,这 些 数值 要 求 使 用 具有 3 个 抽 头 输入 的 维 纳 滤 波 器 。 

4. 假设 给 定 两 个 时 间 序 列 x&(0) ,xz(1)，…vx(N) 和 <d0),d(1),…,d(N), 二 者 都 是 两 个 联 
合 广义 平稳 随机 过 程 的 实现 。 该 序列 分 别 是 长 度 为 M 横向 滤波 器 的 抽 头 输入 和 期 望 响 
应 。 假 设 这 两 个 过 程 是 各 态 历 经 的 ,通过 使 用 时 间 平 均 方法 导出 维 纳 滤波 器 抽 头 权 向 量 
的 估计 值 。 

5。， 横 向 滤波 器 的 抽 头 权 向 量 定义 为 


u(n) = a(n)s(n) + v(n) 


其 中 


s(w) = [1le™,... se (Mayr 


v(n) = [v(n), vn - 1),...,9(n - M+ 1)]7 
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正弦 向 量 s(w ) 的 复数 幅度 是 零 均 值 方 差 为 o = E[1a(n)1?] 的 随机 变量 。 试 完成 如 下 
工作 : 
(a) 确定 抽 头 输入 向 量 u(r) ARE. 
(b) 设 期 望 响 应 4d(z) 和 u(n) 不 相关 ,对 应 的 维 纳 滤波 器 的 抽 头 权 向 量 是 什么 ? 
(c) 假设 方差 o =0, 目标 响应 d(n) 定 义 为 
d(n) = v(n — k) 
MHO<k<M-1, HARMAN BYE A? 
(d) 确定 期 望 响应 的 维 纳 滤波 器 抽 头 权 向 量 
d(n) = a(n)e 
这 里 = 是 时 延 。 
。 证 明 式 (2.34) 和 定义 维 纳 滤 波 器 抽 头 权 向 量 w, 的 维 纳 - 霍 夫 方程 和 定义 最 小 均 方 误差 J 
的 式 (2.49) 可 以 合并 成 简单 的 矩阵 关系 式 


Nod Le" 
be 
u(n) 


的 相关 和 矩阵 , 式 中 期 望 响应 为 a(n), 维 纳 滤波 器 抽 头 输入 向 量 为 mn)。 
。 最 小 均 方 误差 定义 为 [ 见 式 (2.49)] 


其 中 和 矩阵 A 是 增 广 向 量 


Jin = 64 — PUR np 


其 中 ot, 为 期 望 响 应 4(n) 的 方差 ,R 为 抽 头 输出 向 量 ua(z) 的 相关 和 矩阵 ,p 为 an) 和 d(n) 
间 的 互相 关 向 量 。 将 特征 值 分 解 应 用 于 相关 矩阵 (例如 及 一) ,证 明 
_ & lade! 
k=1 Ax 
其 中 A, 和 q, 分 别 是 矩阵 R 的 第 个 特征 值 及 其 对 应 的 特征 向 量 。 注 意 qip 是 标量 。 
。 参见 第 2.6 节 介 绍 的 关于 最 优 滤波 多 回归 模型 的 讨论 ,证 明 对 于 过 拟 合 模型 惟一 的 可 能 
解 由 式 (2.64) 定 义 。 
。 考 虑 一 个 线性 回归 模型 ,其 输入 输出 特性 定义 为 


d(n) = auy(n) + v(n) 


= 72 
Join = OF 


其 中 
ay = [am | Onn] 
和 


uy(n) = [on) ua(a — m)] 


10. 


11. 
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假设 M 大 于 模型 阶 数 m, 输 入 向 量 uy(n) 的 相关 和 矩阵 分 块 为 


R | Emy- 
R, = nag ad -| M 
“ Fa ! | 


试 完成 如 下 工作 :; 
(a) 寻找 条 件 使 得 (M - m) x 1 向 量 py 对 于 an, Ro 和 p, 满足 维 纳 方程 ; 
(b) 将 (a) 的 结果 运用 到 第 2.7 节 的 例子 中 ,证 明 对 于 M =4, 互 相关 向 量 p 的 最 后 一 个 元 
素 为 
p(3) = 一 0.0126 
4 阶 多 回归 模型 的 统计 特征 如 下 : 
o 抽 头 输入 向 量 u(z) 的 相关 和 矩阵 为 
1.1 05 0.1 -0.1 
05 11 05 0.1 


01 05 11 0.5 
—0.1 01 05 11 


© 观测 的 数据 和 输入 向 量 的 互相 关 向 量 为 
p4 = [0.5, —0.4, —0.2, —0.1]7 





© 观测 数据 d(n) 的 方差 为 
e 加 性 白 噪声 的 方差 为 


可 变 长 度 为 M 的 维 纳 滤波 器 工作 在 输入 向 量 u(n) 和 期 望 响应 的 观测 数据 为 a(n) 的 情 
况 下 。 试 计算 并 画 出 M =0,1,2,3,4 时 维 纳 滤波 器 所 产生 的 均 方 误差 。 

图 P2.1(a) 和 图 P2.1(b) 分 别 表示 期 望 响 应 为 d(nz) 的 自 回归 模型 和 含有 噪声 的 通信 信道 
模型 。 在 图 P2.1(a) 中 ,vi,(n) 是 零 均值 ,方差 为 ci =0.27 的 白 噪声 过 程 ;在 图 P2.1(b) 中 ， 
n(n ESE WEA o =0.1 的 白 噪 声 过 程 。 两 个 噪声 源 y,(n) 和 vy,(n) 是 统计 独立 
的 。 

(a) 证 明 信 道 输出 为 


u(n) =«(n)+w(n) 
其 中 
x(n) = 0.1x(n — 1) +08x( — 2) + vi(n) 


(b) 假设 使 用 长 度 为 2 的 维 纳 滤波 器 ,确定 抽 头 输入 向 量 的 相关 和 矩阵 和 抽 头 输入 向 量 
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与 滤波 器 期 望 响应 的 互相 关 向 量 。 
Co) 利用 (a) 和 (b) 的 结果 ,确定 维 纳 滤波 器 的 最 优 权 向 量 和 维 纳 滤 波 器 产生 的 最 小 均 方 误 
É. 





(a) 期 望 响应 为 dn) 的 自 回 归 模 型 


v2(n) 





wer 
(b) 期 望 响 应 为 d(n) 的 含 噪 通信 信道 模型 


图 P2.1 期 望 响应 为 a(n) 的 两 种 模型 


12. 在 这 个 习题 中 ,我 们 探讨 对 于 习题 11 中 所 描述 的 环境 使 用 更 为 复杂 的 维 纳 滤波 器 所 带 来 
的 性 能 提高 。 有 具体 来 说 ,新 的 维 纳 滤波 器 有 3 个 抽 头 。 
Ca) 寻找 这 个 滤波 器 的 抽 头 输入 的 相关 矩阵 ,期 望 响 应 和 抽 头 输入 的 互相 关 向 量 。 
(b) 计算 维 纳 滤波 器 的 抽 头 权 向 量 和 最 小 均 方 误差 。 

13. 在 这 个 习题 中 我 们 研究 维 纳 滤波 器 应 用 于 雷达 。 传 输 的 雷达 信和 号 的 抽样 形式 为 Ae", 
其 中 we 是 传输 的 角 频 率 , A 是 传输 的 复 幅度 。 接 收 信号 为 


u(n) = A 67" + v(n) 
其 中 1411< 1461, 由 于 多 普 勒 (Doppler) 频 移 ,w, 不 同 于 wo,y(m) 是 白 噪声 的 抽样 值 。 
(a) 证 明 由 M 个 元 素 组 成 的 时 间 序 列 w(n ) 的 相关 矩阵 可 表示 为 
R = I + o7s(w,)s"(a,) 
其 中 o 是 零 均值 白 品 声 v(n) 的 方差 , 且 
oj = [IA] 


和 
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s(w,) = [1,e%, ... ,eo MD)]T 


(b) 时 间 序 列 w(n) 应 用 于 M 抽 头 的 维 纳 滤波 器 ,wu(n) 与 期 望 响应 4(n) 之 间 的 互相 关 向 


HEA 
p = ofs(wo) 
其 中 
= E[|4,| ] 
和 
sfo) = [1,e%, ... ete]? 
试 推导 维 纳 滤波 器 抽 头 权 向 量 的 表达 式 。 


14, 阵列 处 理 器 由 一 个 基本 传感器 和 参考 传感器 相连 组 成 。 参 考 传 感 器 的 输出 经 过 w 加 权 ， 
然后 从 基本 传感器 中 减 去 。 证 明 当 权 值 w 达到 其 最 优 值 


E[u;(n)uF(n)] 
E[\u2(n)/7] 


时 阵列 处 理 器 输出 的 均 方 值 达到 最 小 值 。 其 中 ,uw(n) 和 ws(n) 分 别 代表 n 时 刻 基本 传 感 
器 和 参考 传感器 的 输出 。 

15. 离散 随机 过 程 wx(m) 由 天 个 (不 相关 ) 复 正弦 加 上 噪声 组 成 。 噪 声 是 零 均 值 . 方 差 为 o 的 
白 噪声 , 即 


0 


u(n) = $ Ae + y(n) 


其 中 ,A4e**"* 和 v(n) 分 别 表示 第 k IESE ARS wn MAT M 个 抽 头 的 横向 滤波 器 
得 到 的 输出 为 


e(n) = w”u(n) 


假设 M > 天 ,选择 抽 头 权 向 量 w 使 得 在 多 信号 保护 约束 条 件 

Srw = D1 | 
下 使 e (nn) 的 均 方 误差 最 小 , 其 中 SS 是 Mx 信号 矩阵 , HB k WHA 1, 
exp( ju, ),… expl jw;(M-1)],D 是 KxK 对 角 和 矩阵 , 它 的 非 零 元 素 等 于 每 个 正弦 的 平均 
功率 ,1 是 x1 向量 ,其 KK 个 元 素 均 为 1。 利 用 拉 格 朗 日 乘 子 , 证 明 在 约束 条 件 下 最 优 权 
向 量 为 

wo = R'S(S*R'S) "D171 ue 

其 中 了 是 Mx1 抽 头 输入 向 量 un) ANSE, BERT MVDR ARKAA 


16. LCMV 波束 形成 器 的 权 向 量 w, 由 式 (2.85) 定 义 。 一 般 地 ,这 个 定义 的 LCMV 波束 形成 器 
并 没有 使 输出 信 噪 比 最 大 。 具 体 来 说 , 令 输入 向 量 为 EI 





Ts 


17. 


18. 
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u(n) = s(n) 十 p(n) 


其 中 s(n) 代 表 信 和 号 分 量 ,v(n) 代 表 加 性 噪声 分 量 。 证 明 权 向 量 w 不 满足 如 下 条 件 


wiR,w 
max —; 
wo wR,w 


其 中 R, ,R, 分 别 是 s(n) 和 vy(n) 的 相关 矩阵。 
在 本 习题 中 ,我 们 探讨 非 等 间隔 阵列 天 线 元 素 的 波束 形成 器 约束 条 件 的 设计 问题 。 令 i 
表示 当 一 个 平面 波 从 实际 观察 方向 入 射 到 阵列 上 的 时 候 第 i 个 元 素 的 传播 时 延 ,时 延 i 
是 以 零 时 刻 为 参考 点 计算 的 。 
(a) 求 基本 权 向 量 w 随 信 号 角 频 率 w( 由 实际 观察 方向 $ 引起 的 ) 变 化 时 波束 形成 器 的 响 
应 。 
(b) 确定 强加 于 阵列 的 线性 约束 以 便 产 生 等 于 沿 方向 $ 的 响应 g。 
考虑 存在 加 性 噪声 的 情况 下 已 知 信号 的 检测 问题 。 假 设 噪声 是 高 斯 的 且 独 立 于 信号 ,并 
具有 零 均 值 和 正定 的 相关 和 拖 阵 R,。 证 明 : 在 这 些 条 件 下 ,以 下 三 个 准则 , 即 最 小 均 方 误差 ， 
最 大 信 噪 比 和 似 然 比 测试 对 于 横向 滤波 器 产生 同样 的 设计 效果 。 
BW u(n),n=1,2,---,M 表示 MM 个 复数 值 的 数据 样 值 。 并 设 "(m) ,n=1,2,…,M ERE 
均值 高 斯 噪声 过 程 的 抽样 值 。 最 后 令 s(n),n =1,2,…,M 表示 信号 样 值 。 确 定 该 检测 问 
题 输入 信号 中 是 否 包含 信号 加 噪声 ,还 是 仅 有 噪声 。 即 ,检验 如 下 两 个 假设 : 
Bit H,:u(n) = s(n) + v(n) n=1,2,°,M 
Eit Hy: u(n) = v(n) n=1,2,…,M 
(a) 维 纳 滤波 器 使 均 方 误差 最 小 化 。 证 明 对 于 估计 信和 号 向 量 s 的 第 个 分 量 s; ,这 个 准则 
( 即 假设 H, 或 假设 Ho ) 获 得 最 优 抽 头 权 向 量 


Sk 
-an Rs 
1 + s"R;’s 





Wo 


提示 :为 了 在 假设 十 下 计算 un) SKE, TRAE RS], AML, 令 
A = B” + cD'c? 
式 中 人 A,B,D 都 是 正定 矩阵 , 则 有 
A’ = B - BC(D + C*BC) CHB 
Cb) 最 大 信 噪 比 滤波 器 使 得 如 下 比值 最 大 
_ 滤波 器 信号 输出 的 平均 功率 
f ”滤波 器 噪声 输出 的 平均 功率 
_ El(w*s)] 
El (wey) 
证 明 : 输 出 信 噪 比 o 最 大 时 , 抽 头 权 向 量 为 


Wsy = R;'s 





第 2 章 维 纳 滤 波 器 103 


(提示 ;因为 及 ,是 正定 的 ,可 以 使 用 R, = 及 R o) 
(c) 似 然 比 处 理 器 计算 对 数 似 然 比 ,并 将 它 与 门限 值 比较 。 如 果 超 出 门限 值 ,判定 为 假设 
Hi ,和 否则 假设 为 葬 。 似 然 比 定义 为 


_ fu(ul Hi) 


^5 (ulHo) 


其 中 和 (ul 于 ) 是 在 给 定 假设 H(i=0,1) 为 真 时 ,观察 向 量 u 的 联合 条 件 概率 密度 闯 
数 。 证 明 似 然 比 测试 等 价 于 如 下 测试 


wi = n 
其 中 7 为 门限 值 , 且 
Wi = Ry!s 
(提示 :参考 第 1.11 HH EI MAEA R, 的 Mx1 高 斯 噪声 向 量 v 的 联合 概率 
函数 。) 
19. 第 2.4 节 的 维 纳 - 霍 夫 方程 应 用 于 无 限 脉 冲 响 应 滤波 器 。 然 而 ,这 个 式 子 受 到 因果 性 限 
制 , 即 对 于 负数 时 间 滤 波 器 的 脉冲 响应 为 零 。 在 这 个 习题 中 ,我 们 通过 取消 该 限制 来 扩展 
这 个 理论 , 即 人 允许 滤 波 器 是 非 因果 的 。 


(a) 令 


Sa) = > ree" 


表示 抽 头 输入 的 自 相关 序列 的 双边 z 变换 。 类 似 地 , 令 
Pa) = $ poz“ 


表示 抽 头 输入 和 期 望 响 应 之 间 互 相关 序列 的 双边 的 z 变换 (注意 对 于 z = e* ,这 两 个 
式 子 可 简化 为 功率 谱 密度 的 定义 )。 从 将 下 限 改 为 i= - % 的 式 (2.27) 出 发 ,证 明 不 可 
实现 的 维 纳 滤 波 器 的 转移 函数 可 定义 为 


no = 
其 中 
H(z) = >> Wy, kZ * 
k=—00 
(b) 假设 给 定 


_ 0.36 
P(z) (1 — 0.227)(1 - 02z) 
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Siz) = 1.37(1 — 0.146z")(1 — 0.1462) 
(2) = (1 - 0.227)(1 — 0.22) 





确定 不 可 实现 的 维 纳 滤 波 器 的 转移 函数 , 画 出 滤波 器 的 脉冲 响应 。 
Co) 假设 在 滤波 器 脉冲 响应 中 加 入 时 延 ,选择 一 个 合适 的 时 延 值 使 得 滤波 器 是 可 实现 的 。 
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在 时 间 序 列 分 析 中 一 个 最 重要 的 问题 是 :给 定 一 个 平稳 离散 随机 过 程 的 一 组 过 去 样 值 , 预 
测 该 过 程 的 将 来 值 。 更 详细 地 说 ,考虑 时 间 序 列 un), u(n—-1),,u(n-M), EMAAR 
表 该 过 程 n 时 刻 及 其 之 前 的 (M +1) 个 样 值 。 预 测 过 程 的 一 个 例子 就 是 使 用 
u(n-1),u(n-2), 2- 对 ) 来 估计 xz(az)。 给 定 这 组 样 值 ,用 以 :表示 由 样 值 x(m -1)， 
u(n 一 2),…,u(n 一 用) 张 成 的 M 维 空间 ,并 用 (nl4,_1) 表 示 u(n) 的 预测 值 。 在 线性 预测 
中 ,这 个 预测 值 可 用 样 值 un -1),wu(n -2),…,wu(n -以 ) 的 线性 组 合 来 表达 。 对 时 刻 n -1 
而 言 , 这 个 运算 相当 于 对 其 将 来 值 的 一 步 预 测 , 因 此 我 们 称 这 种 预测 形式 为 前 向 一 步 线性 预 
WY ,或 者 简称 为 前 向 线性 预测 (FLP, forward linear prediction)。 在 另 一 种 预测 形式 中 ,我 们 使 用 
PEA uln),uln-1), e, u(n- M + DMA u(n- MW) 预 测 。 我 们 称 这 种 预测 形式 为 后 向 “ 
线性 预测 (BLP,backward linear prediction) ©, 

在 这 一 章 里 ,我 们 既 研 究 前 向 线性 预测 (FLP) ,也 研究 后 向 线性 预测 (BLP)。 特 别 地 ,我 们 
使 用 第 2 章 的 维 纳 滤 波 器 理论 来 优化 前 向 和 后 向 预测 器 的 设计 。 对 广义 平稳 的 离散 随机 过 程 
而 言 ,这 是 在 均 方 误差 意义 上 取得 最 优 。 正 如 第 2 章 所 述 ,这 个 过 程 的 相关 和 矩阵 具有 托 伯 利 兹 
(Toeplitz) 结 构 ,在 研究 高 效 计算 算法 时 要 充分 利用 这 个 结构 。 


3.1 前 向 线性 预测 


图 3.1(a) 表 示 前 向 预测 器 , 它 由 M 个 抽 头 权 值 为 wy, ws,…, wy TK BIA W 
u(n 一 1),wu(n 一 2),…,u(n 一 及) 的 线性 横向 滤波 器 组 成 。 假 设 抽 头 输入 来 自 均值 为 零 的 广 
义 平稳 随机 过 程 ,并 进一步 假设 在 与 维 纳 滤波 器 理论 相 一 致 的 均 方 误差 意义 上 抽 头 权 值 是 最 
优 的 。 则 预测 值 为 


M 
a(n| U1) = ln 一 大 ) (3.1) 
对 于 上 述 情况 ,目标 响应 d(n) SF u(n) RRNA n 输入 过 程 的 实际 样 值 , 故 可 写 出 
d(n) = u(n) (3.2) 
前 向 预测 误差 等 于 输入 样 值 u(n) 与 它 预 测 值 ún,- AE, M fi(n) 表 示 , 可 写 为 
fu(n) = u(n) — ai(n|U,-1) (3.3) 


其 中 下 标 M 表示 预测 器 的 阶 数 , 它 等 于 需要 存储 的 .用 来 进行 给 定 样 值 预测 的 延 时 单元 数 。 
使 用 这 个 下 标的 原因 将 在 本 章 的 后 面 加 以 阐明 。 





O “后 向 预测 "这 个 词 用 得 有 些 不 当 。 更 为 合适 的 描述 应 为 “后 见 之 明 ”。 因 此 与 之 相关 的 使 用 “前 向 "这 个 词 也 有 些 
多 余 。 然 而 ,“ 前 向 预测 "和 “后 向 预测 "这 两 个 词 已 经 在 线性 预测 的 有 关 文 献 中 国定 使 用 了 。 
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(a) 一 步 预 测 器 





预测 误差 滤波 器 
(c) 预测 器 和 预测 误差 滤波 器 的 关系 


图 3.1 不 同 前 后 预测 器 的 示意 图 及 关系 图 


A 
Py = Ellfu(n)?] ”对 所 有 n (3.4) 
表示 最 小 均 方 预测 误差 。 假 设 抽 头 输入 为 零 均 值 , 则 前 向 预测 误差 y(n) 也 同样 具有 零 均值 。 
在 这 个 条 件 下 , Py 等 于 前 向 预测 误差 的 方差 。Py 亦 可 解释 为 , 它 可 以 看 做 平均 的 前 向 预测 
误差 功率 ,其 中 假设 fy(n) 通 过 1 欧姆 的 负载 。 我 们 将 使 用 后 者 来 解释 Puo 
S w 表示 图 3.1(a) 中 前 向 预测 器 的 M x 1 最 优 抽 头 权 向 量 ,其 展开 式 为 
W; = [we 1, Weds or ul 
为 了 使 用 维 纳 - 霍 夫 方程 求 权 向 量 w, BERLE: (1) 抽 头 输入 u(n-1),u(n-2),..., 
u(n- M)EM x M 相关 矩阵 ;(2) 这 些 抽 头 输 和 与 期 望 响 应 w(m) 之 间 的 Mx 1 互相 关 向 量 。 
为 了 得 到 Py ,还 需要 第 三 个 量 w(m) 的 方差 。 现 分 别 考虑 这 三 个 量 ; 


(3.5) 
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1) 抽 头 输入 u(n 一 1) ,uln -2),…,u(n MM) 定义 了 M x1 WHARA 


u(n —1)= [u(n — 1),un — 2),...,u(n — M)]" (3.6) 
因此 , 抽 头 输入 的 相关 矩阵 为 
R = Elu(n — 1)u"(n — 1)] 
r(0) r(1) + 7(M —1) 
r*(1) r(0) “+ 7(M — 2) (3.7) 
(M -1) (M -2 = r(0) 


其 中 r( 6 是 延 时 为 天 时 输入 过 程 的 自 相 关 函 数 ,这 里 大 =0,1,……,1 - 1。 应 注意 到 表 
示 图 3.1(a) 中 抽 头 输入 相关 和 抢 阵 的 符号 与 图 2.4 中 横向 滤波 器 抽 头 输入 相关 和 矩阵 的 
符号 一 样 。 业 已 证 实 , 这 样 使 用 符号 是 有 道理 的 。 由 于 在 这 两 种 情况 下 都 假设 输入 过 
程 为 广义 平稳 ,因此 这 个 过 程 的 相关 和 矩阵 具有 时 移 不 变性 。 
2) 抽 头 输入 wu(n 一 1) ,un 一 2),…,wu(n 一 A 必 ) 和 目标 响应 w(n) 之 间 的 互相 关 向 量 为 
r= Elu(n — 1)u*(n)] 


r*(1) r(-1) 
r*(2) r(—2) (3.8) 
r*(M) (M) 


3) 由 于 u(n) RAFI, A wu(n) 的 方差 为 r(0)。 


在 表 3.1 中 ,总 结 了 图 2.4 中 维 纳 滤波 器 的 各 个 量 以 及 图 3.1(a) 中 前 向 预测 器 和 后 向 预 
测 器 中 各 种 量 之 间 的 对 应 关系 。 其 中 ,最 后 一 列 为 后 向 预测 器 ,其 细节 将 在 后 面 讲 述 。 


表 3.1 维 纳 滤波 变量 总 结 





抽 头 输入 向 量 u(n) u(n-1) u(n) 
期 望 响应 dín) u(n) u(n- M) 
抽 头 权 向 量 Wo Wy ws 

估计 误差 e(n) faln) by(n) 
抽 头 输入 相关 和 矩阵 R R R 

抽 头 输入 与 期 望 响 应 之 间 的 互相 关 向 量 p r re* 

最 小 均 方 误差 Jin Py Py 


因此 ,使 用 表 中 的 对 应 量 , 可 以 采用 维 纳 - 霍 夫 方程 (2.45) 来 求解 平稳 输入 的 前 向 线性 预 
测 (FLP) 问 题 ,于 是 有 
Rw; =r (3.9) 
类 似 地 ,使 用 式 (3.8) 和 式 (2.49) ,可 以 得 到 前 向 预测 误差 功率 的 表达 式 , 即 
Py = r(0) — ri/w (3.10) 
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从 式 (3.8) 和 式 (3.9) 可 以 看 出 ,前 向 预测 器 与 前 向 预测 误差 功率 的 M x1 抽 头 权 向 量 可 以 惟 
一 地 由 时 刻 0,1,…,M 的 输入 的 ( 几 + 1) 自 相关 函数 值 集合 来 确定 。 


3.1.1 线性 预测 和 自 回归 模型 的 关系 


比较 线性 预测 的 维 纳 - 霍 夫 方程 (3.9) 与 自 回归 (AR) 模 型 尤 尔 -沃克 方程 (1.66) 可 获得 很 
多 有 用 的 信息 。 首 先 ,我 们 看 到 这 两 个 系统 具有 同样 的 数学 形式 。 此 外 ,定义 前 向 预测 误差 平 
均 功率 ( 即 方 差 ) 的 式 (3.10) 与 式 (1.71) 有 相同 的 数学 形式 。 后 者 定义 了 用 来 激励 自 回归 模型 
的 白 噪声 过 程 的 方差 。 对 于 M 阶 AR 过 程 ,我 们 有 如 下 结论 :当前 向 预测 器 在 均 方 误差 意义 
上 达到 理论 上 最 优 时 ,其 抽 头 权 值 与 该 过 程 的 相应 参数 值 相 同 。 因 为 定义 前 向 预测 误差 的 方 
程 与 定义 自 回归 模型 的 差分 方程 具有 相同 的 数学 形式 ,因此 得 到 这 样 的 结论 并 不 奇怪 。 当 这 
个 过 程 不 是 自 回 归 时 ,预测 器 的 使 用 提供 了 对 该 过 程 的 一 个 近似 。 


3.1.2 前 向 预测 误差 滤波 器 


图 3.1(a) 的 前 向 预测 器 由 M 个 单位 延迟 单元 和 MM 个 抽 头 权 值 wy , wy,…, wn 组 成 ,这 
些 抽 头 权 值 的 输入 分 别 为 xm 一 1),u(n 一 2),…,u(n 一 MM)。 输 出 结果 为 a(n) 的 预测 值 , 它 
由 式 (3.1) 定 义 。 因 此 ,如 将 式 (3.1) 代 入 式 (3.3) ,前 向 预测 误差 可 表示 为 





M 
fuln) = u(n) 一 Dwi aula - k) (3.11) 
令 ay. hk =0,1,:, M 表示 新 的 横向 滤波 器 的 抽 头 权 值 , 它 和 前 向 预测 器 抽 头 权 值 的 关系 为 


a =)! k=0 
ME wp k=1,2,...,M (3.12) 


因此 ,可 将 式 (3.11) 右 边 的 两 项 合并 为 单一 的 求 和 形式 
M 
fu(n) = 2 thr u(n -= k) (3.13) 


这 个 输入 输出 关系 用 图 3.1(b) 的 横向 滤波 器 来 表示 。 这 种 对 样 值 w(n),u(n -1), t, u(n- M) 
进行 运算 ,在 输出 端 产生 前 向 预测 误差 fy(n) 的 滤波 器 称 为 前 向 预测 误差 滤波 器 。 

前 向 预测 误差 滤波 器 与 前 向 预测 器 的 关系 如 图 3.1(e) 所 示 。 注 意 预 测 误差 滤波 器 的 长 
度 比 一 步 预测 器 的 长 度 大 1。 然 而 ,这 两 个 预测 器 具有 同样 的 阶 数 WN ,因为 它们 用 同样 的 延迟 
单元 存储 过 去 的 数据 。 


3.1.3 前 向 预测 用 增 广 维 纳 - 堆 夫 方程 


维 纳 - 霍 夫 方 程 (3.9) 定 义 了 前 向 预测 器 的 抽 头 权 向 量 , 式 (3.10) 定 义 了 前 向 预测 误差 功 
率 Pn。 这 两 个 方程 可 合并 为 一 个 简单 的 矩阵 关系 


r(0) r” 1 | _|P 
[o kled Le] Gw 


KPO Mx FaR. Mx MAKE R 由 式 (3.7) 定 义 , 式 (3.8) 定 义 了 M x1 的 相关 向 
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Br. 在 第 1.3 节 已 经 讨论 过 将 式 (3.14) 左 边 的 (MM+1) x (M+ 1) 相 关 和 矩阵 分 解 为 这 种 形式 
的 方法 。 注 意 这 个 (M + 1) x (M+ 1) 和 矩阵 等 于 图 3.1(b) 中 抽 头 输入 wn), ulan -1),…， 
u(n - 内 ) 的 相关 和 矩阵。 此 外 , 式 (3.14) 左 边 的 (M + 1) x 1 系数 向 量 等 于 前 向 预测 误差 滤波 器 


向 量 , 即 


mo 


RIETER. 14) HORE NAM + 1) 个 联 立 方程 组 


M > 
Py i=0 
1-i)= 
2a amir(! = i) | i=1,2,...,M 


式 (3.14) 或 式 (3.16) 称 为 M 阶 前 向 预测 误差 滤波 器 的 增 广 维 纳 - 霍 夫 方 程 。 
例 1 对 于 一 阶 预测 误差 滤波 器 (M = 1) ,由 式 (3.14) 得 到 一 对 联 立 方程 
Ee r(1) foe] = [2] 
r*(1) r(0) ay 0 


FAVA L PAZ a, oF? ai 得 


440 7 £ o) 41,1 一 ~ aq) 
其 中 
_ | 7(0) r(1) 
A= la) (0) 





= r(0) — oF 
是 相关 给 阵 的 行列 式 , 而 ay) = 1; Ave 


A, r*(1) 


Bo) 70) 


其 次 ,考虑 二 阶 预 测 误差 滤波 器 (有 M =2) ,由 方程 (3.14) 得 如 下 联 立 方程 


r(0) r(1) r(2) 42,0 P, 
r*(1) (0) rd) | | aı|=|0 
r*(2) r*(1) r(0) a22 0 


解 以 上 这 个 方程 组 azoy,az1 和 az 得 








aro = (70) -= FAP 


ayy = —Fefr*(1)r(0) = "CDrx(2] 
2 


ana = [(r(1)F = O] 


其 中 

r(0) (1) r(2) 
r*(1) r(0) r(1) 
r*(2) r*(1) r(0) 


A, = 








(3.15) 


(3.16) 
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是 相关 矩阵 的 行列 式 。 系 数 ua =1; 因 此 预测 误差 功率 为 


预测 误差 滤波 器 系数 为 
r*(1)r(0) — r(1)r*(2) 
(0) — OF 
_ (r*a)? = r(0)r*(2) 
= |r)? 





42.1 = 





422 


3.2 后 向 线性 预测 


第 3.1 节 考虑 的 线性 预测 形式 叫做 前 向 预测 。 也 就 是 说 ,给 定时 间 序 列 uw(n),u(n -1)， 
vuln- M), EH M 个 样 值 的 子 集 uw(n 一 1),wu(n -2),…,u(n -MM) 对 样 值 wu(n) 进 行 预 
测 。 这 个 运算 对 应 于 在 时 间 n -1 对 未 来 所 做 的 一 步 前 向 线性 预测 。 我 们 自然 也 想到 ,在 反 
方向 对 这 个 时 间 序 列 进行 运算 。 也 就 是 说 ,可 利用 M 个 样 值 的 子 集 u(n),u(n-1),…， 
&(-MN+l) 对 样 值 zx(x - M) 进 行 预测 。 这 个 运算 对 应 于 在 时 间 n- M+1 的 后 向 一 步 线 性 
预测 。 
SU, 表示 w(n),u(n 一 1),…,wu(n 一 MM+1) 张 成 的 必 维 空间 ,用 它 来 做 后 向 预测 。 使 用 
这 组 样 值 作 为 抽 头 输入 ,做 样 值 u(n - MM) 的 线性 预测 , 则 有 


M 
a(n 一 MU) = È wh u(n =k +1) (3.17) 


其 中 001，7002 2 为 抽 头 权 值 。 式 (3. 17) 的 后 向 预测 器 如 图 3.2(a) 所 示 。 在 与 维 纳 滤波 
怖 理论 相 一 致 的 均 方 误差 意义 上 假设 这 些 抽 头 权 值 是 最 优 的 。 
在 后 向 预测 情况 下 ,期 望 响应 为 


d(n) = u(n — M) (3.18) 
后 向 预测 误差 by (n) 等 于 实际 样 值 w(n -MM) 与 预测 值 u(n- MIU, ) 之 差 , 即 
by(n) = u(n — M) — û(n — M |U) (3.19) 
其 中 下 标 M 表示 延 时 单元 加 ur(z) 的 数目 , 即 预测 器 的 阶 数 。 
令 
Py = Ellbu(n)?] 对 所 有 (3.20) 
表示 最 小 均 方 误差 。 我 们 亦 可 将 Py 看 做 集 平均 后 向 预测 误差 功率 ,其 中 假设 by (n) 通 过 1 
欧姆 的 负载 。 
S w, 表示 图 3.2(a) 中 的 后 向 预测 器 的 M x 1 最 优 抽 头 权 向 量 。 其 展开 形式 为 
Wp = [ao 1, Wh, 2，.…， wy ml (3.21) 


Ai ST BASE - ERT ERA LL w, ,我 们 需要 知道 两 个 量 :(1) 抽 头 输入 ula), ula 一 1),…， 
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xz-M+l) 的 MNxMN 相 关 抢 阵 ;(2) 这 些 抽 头 输入 与 期 望 响 应 w(n - MM) 之 间 的 Mx1 互相 
关 向 量 。 为 了 得 到 Py ,我 们 还 需要 第 三 个 量 , 即 u(n-M) WAH. 下面 分 别 考虑 这 三 个 
量 。 





(c) 按 对 应 的 前 向 预测 误差 滤波 器 抽 头 权 值 定义 的 后 向 预测 误差 滤波 器 


图 3.2 不 同 后 向 预测 器 的 示意 图 及 关系 图 


112 自 适 应 滤波 器 原理 


1) 令 u(n) 表 示 图 3.2(a) 后 向 预测 器 的 Mx1 抽 头 输入 向 量 ,其 展开 形式 为 
u(n) = [u(n), u(n —1),..., u(n 一 M + DF (3.22) 
图 3.2(a) 中 抽 头 输入 的 M x M 相关 和 矩阵 为 
R = Elu(n)u"(n)] 
HIKER R 的 展开 形式 参见 式 (3.7)。 
2) HILHA u(n),u(n-1),°0, un 一 M+1) 与 期 望 响 应 w(n - MZ M x 1 互相 关 向 
量 为 
rsx = Elu(n)u*(n — M)| 
r(M) 
_| (M-1) (3.23) 
r(1) 
相关 相 量 的 展开 形式 已 在 式 (3.8) 中 给 出 。 式 中 rr 的 上 标 B 表示 反 向 排列 , 星 号 表 
IR SEE. 
3) u(n- M) NFB (0). 
# 3.1 的 最 后 一 列 总 结 了 对 应 于 图 3.2(a) 的 后 向 预测 器 的 各 个 量 。 


因此 ,使 用 表 中 的 对 应 量 ,我 们 可 采用 维 纳 - 霍 夫 方程 (2.34) 来 求解 平稳 输入 后 向 线性 预 
测 (BLP) 问 题 , 即 


Rw, = r” (3.24) 
类 似 地 ,使 用 式 (3.24) 和 式 (2.49) 可 以 得 到 后 向 预测 误差 功率 表达 式 为 
Py = r(0) — r??w, (3.25) 


从 而 ,我 们 再 一 次 看 到 后 向 预测 器 M x 1 和 后 向 预测 误差 功率 Py 的 x 1 抽 头 权 向 量 w, 可 
以 惟一 地 由 延迟 为 0,1, see ,MM 的 输入 自 相 关 函 数值 集合 来 决定 。 


3.2.1 前 向 与 后 向 预测 器 的 关系 


通过 比较 分 别 属于 前 向 和 后 向 预测 的 式 (3.9) 与 式 (3.24) 两 组 维 纳 - 霍 夫 方 程 可 以 看 出 ， 
式 (3.24) 与 式 (3.9) 右 边 的 向 量 有 两 点 不 同 :(1) 其 元 素 是 反 向 排列 的 ; (2) EINER. 
为 了 对 第 一 个 不 同 点 做 出 修正 ,对 式 (3.24) 右 边 向 量 元 素 的 排列 次 序 进行 反 转 处 理 。 这 个 操 
作 相 当 于 式 (3.24) 的 用 乘 以 Rw) 代 蔡 而 其 右边 用 r* 代替 ,其 中 R 是 相关 矩阵 R 的 转 置 ,而 
w 是 抽 头 权 向 量 w, 的 反 向 形式 (见习 题 3)。 于 是 ,我 们 可 以 写 出 
R'w? = r* (3.26) 
为 了 对 第 二 个 不 同 点 做 出 修正 , BRAT RE SR (3.26) PHAR SS SEE , MA TB) 
Raw2 =r 
H THER R 是 埃 尔 米 特 和 矩阵 , 故 可 重 写 后 向 预测 R” = R 的 维 纳 - 霍 夫 方程 为 
Rw =r (3.27) 


第 3 章 线性 预测 113 


比较 式 (3.27) 和 式 (3.9) , 即 得 后 向 预测 器 与 对 应 的 前 向 预测 器 之 间 的 基本 关系 
wh* = Wr (3.28) 
式 (3.28) 表 明 J RSL PFW RRS ORS e SY BT ANRE o 
其 次 ,我 们 要 证 明 后 向 预测 与 前 向 预测 的 集 平均 误差 功率 相同 。 为 此 ,首先 看 出 rw = 
rrwis; 于 是 , 式 (3.25) 可 重 写 为 
Py = r(0) 一 TITw8 (3.29) 
WHR MAS BS Py 和 r(0) 均 不 受 这 个 操作 的 影响 (因为 它们 都 是 实 值 的 标 
量 ) ,我 们 得 到 
Py = r(0) — vr? ws (3.30) 
将 这 个 结果 与 式 (3.10) 比 较 , 并 利用 式 (3.28) 的 等 价 性 ,我 们 发 现 :后 向 预测 误差 功率 与 前 向 
预测 误差 功率 具有 完全 相同 的 值 。 实 际 上 ,这 个 等 式 是 可 以 预料 的 ,以 致 于 我 们 可 使 用 同一 符 
号 Py 表示 这 两 个 量 。 但 要 注意 ,这 个 等 式 仅 对 广义 平稳 过 程 线 性 预测 才 成 立 。 


3.2.2 反 向 预测 误差 滤波 器 
给 定 样 值 u(n), u(n -1), u(n- M +1), 后 向 预测 误差 bv(n) 等 于 期 望 响 应 u(n - M) 
与 其 线性 预测 值 之 差 。 该 预测 由 式 (3.17) 定 义 。 因 此 ,将 式 (3.17) 代 人 式 (3.19) ,我 们 得 到 
M 
by(n) = u(n — M) 一 2 wb u(n —~k +1) (3.31) 


现 根据 后 向 预测 器 ,将 后 向 预测 误差 滤波 器 抽 头 权 值 定 义 为 


-w k=0,1,...,M -1 
CM,k = {i b,k+1 k- M (3.32) 


因此 ,可 将 式 (3.31) 重 写 为 [ 见 图 3.2(b)] 
M 
by(n) = uln 一 天 ) (3.33) 
式 (3.28) 定 义 了 后 向 预测 器 抽 头 权 向 量 与 前 向 预测 器 抽 头 权 向 量 之 间 的 关系 ,该 关系 的 
标量 表达 式 为 
W) M~k+1 = We, k k =1,2,...,M 
或 等 价 地 
Wp,k = Wh M-k+i k =1,2,...,M (3.34) 
因此 ,将 式 (3.34) 代 人 式 (3.32) ,可 得 


人 k =0,1,...,M -1 
CM,k = 


1 k=0 (3.35) 


于 是 ,利用 前 向 预测 误差 滤波 器 与 前 向 预测 器 抽 头 权 值 之 间 的 关系 ,可 以 写 出 
Cm,k = OM, M-k k=0,1,...,M (3.36) 
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相应 地 ,后 向 预测 误差 滤波 器 的 输入 输出 关系 ,可 用 等 价 形式 表示 为 
M 
by(n) = È au atl -= k) (3.37) 


式 (3.37) 的 输入 输出 关系 如 图 3.2(c) 所 示 。 通 过 比较 图 3.2(c)( 后 向 预测 误差 滤波 器 表示 ) 
与 图 3.1(b)( 相 应 的 前 向 预测 误差 滤波 器 表示 ) 可 见 :对 平稳 输入 而 言 , 这 两 种 形式 的 预测 误差 滤 
波 器 是 彼此 惟一 相关 的 。 特 别 地 ,通过 反 转 抽 头 权 值 序列 并 对 其 取 复 数 共 斩 , 可 将 前 向 预测 误差 
滤波 器 变 成 对 应 的 后 向 预测 误差 滤波 器 。 注 意 ,在 这 两 由 图 中 ,各 个 抽 头 输入 具有 相同 的 值 。 


3.2.3 后 向 预测 的 增 广 维 纳 - 霍 夫 方 程 
后 向 预测 的 维 纳 - 霍 夫 方 程 由 式 (3.24) 定 义 , 式 (3.25) 定 义 了 后 向 预测 误差 功率 。 我 们 可 


合并 这 两 个 方程 为 单一 关系 
rT (0) 1 Py (3.38) 


Ep oE Mx. Mx MERE RE 村 x1 抽 头 输入 向 量 u(r) WHR, h FRA 
入 过 程 为 广义 平稳 的 , 故 该 矩阵 具有 式 (3.7) 第 2 行 所 示 的 展开 形式 。M x 1 aE r’ * 是 抽 头 
输入 向 量 与 期 望 响 应 u(n- MI) 的 互相 关 向 量 。 这 里 再 一 次 看 到 ,所 假设 的 输入 过 程 的 广义 平 
稳 性 意味 着 向 量 r 具有 式 (3.8) 第 2 行 所 示 的 展开 形式 。 式 (3.38) 左边 的 (M+1) x (M +1) 
阵 等 于 图 3.2(e) 中 后 向 预测 误差 滤波 器 抽 头 输入 x(n) 的 相关 矩阵。 第 1.3 节 介 绍 了 如 何 将 
这 个 (M+1) x (路 +1) 和 矩阵 分 解 为 式 (3.38) 的 形式 。 
我 们 也 可 以 将 式 (3.38) 的 矩阵 关系 表示 为 M x 1 个 联 立方 程 
Uo a , 0. i=0,...,M -1 
> aim- -i)= 人 =M (3.39) 
式 (3.38) 或 式 (3.39) 称 为 M 阶 后 向 预测 误差 滤波 器 的 增 广 维 纳 - 霍 夫 方程 。 
注意 ,在 式 (3.38) 所 定义 的 增 广 维 纳 - 霍 夫 方 程 的 矩阵 形式 中 , 抽 头 输入 的 相关 和 矩阵 与 相 
应 的 式 (3.14) 中 的 抽 头 输入 相关 和 矩阵 相同 。 这 只 不 过 是 重申 如 下 事实 :图 3.2(e) 的 后 向 预测 
误差 滤波 器 的 (m + 1) x 1 抽 头 输入 与 图 3.1(b) 的 前 向 预测 误差 滤波 器 的 抽 头 输入 完全 相同 。 


3.3 列 文 森 - 杜 宾 算 法 


现在 通过 求解 增 广 维 纳 - 霍 夫 方 程 来 描述 一 种 计算 预测 误差 滤波 器 系数 和 预测 误差 功率 的 
直接 方法 。 该 方法 在 本 质 上 是 递归 的 ,而 且 具 体 利用 了 滤波 器 抽 头 输入 的 相关 和 矩阵 的 托 伯 利 兹 
结构 。 这 种 思想 由 Levinson(1947) 首先 使 用 ,后 为 Durbin(1960) 重 新 独立 表述 , 故 称 为 列 文 森 - 杜 
宾 (Levinson-Durbin) 算 法 。 这 个 方法 利用 阶 预 测 误差 滤波 器 的 增 广 维 纳 - 霍 夫 方 程 的 解 来 计算 相 
应 的 阶 ( 即 高 一 阶 ) 预 测 误差 滤波 器 的 解 。 阶 数 m = 1,2,...,M, EP M 为 滤波 器 的 最 终 阶 数 。 
列 文 森 - 杜 宾 算 法 的 主要 优点 是 其 计算 效率 ,因为 与 标准 的 算法 如 高 斯 消去 法 (Makhoul,1975) 相 
比 ,该 算法 的 使 用 导致 运算 (乘法 和 除法 ) 量 和 存储 空间 的 大 大 节约 。 为 了 导出 列 文 森 - 杜 宾 递 推 

方法 ,我 们 以 巧妙 的 方式 使 用 前 向 和 后 向 预测 矩阵 表示 (Burg, 1968 ,1975)。 
令 (m+1) x1 向量 表 示 a, 阶 前 向 预测 误差 滤波 器 的 (m + 1) x 1 抽 头 权 向 量 。 对 应 a, 
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的 后 向 预测 误差 滤波 器 的 (m + 1) x 1 抽 头 权 向 量 可 通 对 元 素 的 后 向 排列 和 复 共 思 得 到 ,这 两 
个 运算 的 合并 效应 用 ar 表示。 设 m x 1 向 量 a, 1 与 ak" ,分 别 表示 m -1 阶 前 向 和 后 向 预测 
误差 滤波 器 对 应 的 抽 头 权 向 量 。 列 文 森 - 杜 宾 递 推 可 用 下 面 两 种 等 效 方式 之 一 来 表述 : 


1) 前 向 预测 误差 滤波 器 的 抽 头 权 向 量 的 更 新 方程 为 


a= 3 1 + 0 
m 0 Km abs, (3.40) 


其 中 er 是 一 个 常数 。 这 个 更 新 方程 的 标量 形式 为 

Ami = mi 十 KmOm—1,m-l £=0,1,...,m (3.41) 
式 中 anm 阶 后 向 预测 误差 滤波 器 第 1 个 抽 头 权 值 ,对 aha teh fi E AE Ab BB 
On —tjm— rem — 1 阶 后 向 预测 误差 滤波 器 第 1 个 抽 头 权 值 。 注 意 ,在 式 (3.41) 中 anio 


=1,4,-1.m =0, 


2) Jer A ANRE TB AR SA AN Ue] E N ER DEA 


abe = Pa + oka (3.42) 
其 标量 形式 为 


Amm- = A Lm + Khâm- l= 0, 1, <’ M (3.43) 
其 中 a), 128 m 阶 后 向 预测 误差 滤波 器 第 1 个 抽 头 权 值 ,其 他 符号 的 定义 如 前 所 述 。 
列 文 森 - 杜 宾 递 推 通常 可 用 前 向 预测 的 向 量 形式 [ 见 式 (3.40)] 或 标量 形式 [ 见 式 (3.41)] 
来 表示 ,也 可 以 用 式 (3.42) 中 的 后 向 预测 的 向 量 形式 或 式 (3.43) 中 的 标量 形式 表示 。 它 们 可 
通过 反 向 重 排 和 复 共 孝 的 组 合 , 分 别 从 式 (3.40) 或 式 (3.41) 直 接 得 出 (见习 题 8)。 
为 了 确定 常数 cn 必须 满足 的 条 件 以 证 明 列 文 森 - 杜 宾 算 法 的 有 效 性 ,我 们 将 算法 分 为 四 
个 阶段 : 
1) 式 (3.40) 两 边 乘 以 R, ,i[m 阶 前 向 预测 误差 滤波 器 中 抽 头 输入 u(n), wu(n -1),...， 
u(n-m) (m+ 1) x (m+1) 相 关 和 矩阵 ]。 于 是 ,对 于 式 (3.40) 左 边 ,我们 有 


Pn 
R miian = i ] (3.44) 


其 中 P, 是 前 向 预测 误差 功率 ,0,, 是 m x 1 SE. Rna 和 0。 中 的 下 标 表示 它们 的 维 
数 ,而 a。 和 已 . 中 的 下 标 表示 预测 阶 数 。 
2) 对 于 式 (3.40) 右 边 的 第 一 项 ,使 用 相关 和 矩阵 R,,1( 见 第 1.3 节 ) 的 如 下 分 块 形式 


_ | Rn tr 


其 中 ,R。 EMAA u(n), u(n-1),...,u(n—-m+41) K mx m 相关 矩阵 ,rs- 是 抽 
头 输入 与 w(n - m) 的 互相 关 向 量 。 故 可 写 出 
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am-1 | _ | Rm rs amn- 
Ren z] 7 E vail z] 


7 La (3.45) 
7 rm am- 
m — 1 阶 前 向 预测 误差 滤波 器 的 增 广 维 纳 - 霍 夫 方 程 为 
Pn- 
Ram_1 = | Fe | (3.46) 
其 中 P,_, 是 该 滤波 器 的 预测 误差 功率 ,0,,.1 是 (m -1) x1 零 向 量 。 下 面 ,定义 标量 
Am-1 = am 
= Sru 一 M)an-1,1 (3.47) 


1=0 


将 式 (3.46) 和 式 (3.47) 代 入 式 (3.45) ,可 得 


a Pn-i 
Rae] “| 一 | 0， |; (3.48) 
Am-1 
3) 对 于 式 (3.40) 右 边 的 第 二 项 ,采用 相关 和 矩阵 R,, ,的 如 下 分 块 形式 


r(0) rs 
Ra = | "0) = | 


其 中 R, ÆRA u(n-1),u(n-2),...,u(n- mm) mx m ARE, rn 是 抽 头 
输入 与 uw(n) 的 互相 关 向 量 。 于 是 可 以 写 出 


R o | _[r(0) rä 0 
"H ar Em Rm] Lan 


E KA ] (3.49) 
Ra 
该 标量 
ria? = S re) 
k=1 
= So mata, (3.50) 
= An-1 
此 外 ,m -1 阶 后 向 预测 误差 滤波 器 的 增 广 维 纳 - 霍 夫 方 程 为 
Rnas+ | = | oe | (3.51) 


将 式 (3.50) 和 式 (3.51) 代 入 式 (3.49), 可 写 出 


A* 
0 m-1 
Ro B ] = cal (3.52) 
amti P 4 
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4) 总 结 1)、 2)、. 3) 阶段 的 结果 。 特 别 地 ,应 用 式 (3.44)、 式 (3.48)、 式 (3.52) ,我 们 可 以 看 
出 , 式 (3.40) 两 边 左 乘 以 相关 矩阵 R, ,, ,得 到 


Pri Až- 
Pn 
| | = On-1 + Km On-1 (3.53) 
m An-1 Pri 


因此 ,我 们 得 出 结论 :如 果 式 (3.40) 的 阶 更 新 递 推 成 立 , 则 式 (3.53) 所 述 结果 是 该 递 推 的 
直接 结果 。 相 反 地 ,如 果 应 用 式 (3.53) 所 述 条 件 , 则 可 用 式 (3.40) 进 行 前 向 预测 误差 滤波 器 抽 
头 权 向 量 的 阶 更 新 。 

根据 式 (3.53) ,我 们 可 做 出 以 下 两 个 重要 推断 ; 


1) 通过 考虑 式 (3.53) 两 边 中 向 量 的 第 一 个 元 素 ,我 们 有 





Pn = Puy t+ Km AX; (3.54) 
2) 通过 考虑 式 (3.53) 两 边 中 向 量 的 最 后 一 个 元 素 ,我 们 有 
0 = Am- + KmPm-1 (3.55) 
由 式 (3.55), 可 得 到 如 下 常数 
Am-1 
Km = — P, (3.56) 
其 中 A。 :由 式 (3.47) 定 义 。 此 外 ,在 式 (3.54) 和 式 (3.55) 中 消去 A。; ,可 得 到 预测 误 
差 功 率 的 阶 更 新 关系 
Ppa = Pi(l 一 en (3.57) 


随 着 预测 误差 滤波 器 阶 数 m 的 增 大 ,对 应 的 预测 误差 功率 P, 减 小 或 者 保持 不 变 。 当 然 ， 

P,, 不 可 能 是 负 的 ;因此 ,总 有 
0<P,< Pi m>1 (3.58) 
对 于 零 阶 预测 误差 滤波 器 这 个 基本 情况 ,自然 有 
Po = r(0) 

其 中 r(0) 为 零 延 时 输入 过 程 的 自 相 关 函 数 。 

从 m=0 开 始 ,依次 增加 滤波 器 的 阶 数 ,通过 反复 应 用 式 (3.57) ,我 们 可 以 得 到 阶 M 预测 
M 
Pu = BIT -co (3.59) 


m=1 


3.3.1 参数 Km 和 Am- PRR 


参数 x, l<m<M EWNCR-HRERHE THER , 称 为 反射 系数 。 该 术语 的 使 用 来 
源 于 式 (3.57) 与 传输 线 理 论 的 相似 性 ,其 中 传输 线 理论 中 的 en 可 看 做 具有 不 同 特征 阻抗 的 两 
部 分 之 间 界 面 上 的 反射 系数 。 注 意 , 对 应 于 式 (3.58) 的 反射 系数 的 条 件 为 
lx,l<1 对 所 有 m 
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由 式 (3.41) 可 见 ,对 于 m 阶 预 测 误差 滤波 器 ,反射 系数 c。 等 于 滤波 器 最 后 一 个 抽 头 权 值 
amm BY 
Kin = am m 
就 参数 A,_1 而 言 , 它 可 解释 为 前 向 预测 误差 f,_,(n) 与 延迟 的 后 向 预测 误差 bnin- 1) 
之 间 的 互相 关 。 特 别 地 ,可 以 写 出 (见习 题 9) 
Am-1 = E[bn,-i(n 一 1)f%_1(n)] (3.60) 
其 中 f_1(n) 是 对 应 于 抽 头 输入 为 u(n), u(n-1),0, un — m4 1) m- 1 GBT Re 
滤波 器 的 输出 ,5,_1(n -1) 是 对 应 于 抽 头 输入 为 uln-1),uln-2), u(n- m) m -1 
后 向 预测 误差 滤波 器 输出 的 延迟 值 (延迟 为 1)。 
应 注意 到 
holn) = boln) = u(n) 
其 中 wu(n) 是 时 刻 ”预测 误差 滤波 器 的 输入 。 故 由 式 (3.60) 可 见 , 互 相关 参数 具有 有 零 阶 值 
Ay = E[bo(n 一 1)f3(n)| 
= Elu(n — 1)u*(n)] 
= r*(1) 
其 中 r(1) 是 延迟 为 1 69 BAR. 
3.3.2 反射 系数 与 偏 相 关系 数 的 关系 
前 向 预测 误差 f,_1(n) 与 反 向 预测 误差 5,,_1(n — 1) 之 间 的 偏 相 关 (PARCOR , partial correla- 
tion) 系 数 定义 为 (Makhoul,1977) 
E[bm_i(n — 1)f%_1(n)] 
(Ellpwi(n = 1)P]E[ fm") P 





Pm = (3.61) 


根据 这 个 定义 ,我 们 有 
| Om <1 对 所 有 m 
pn 的 上 界 易 由 柯 西 - 施 瓦 茨 不 等 式 ( Cauchy- Schwarz inequality) 得 出 。 对 于 现 有 问题 ,结果 为 0 
IE[bm ln — DSA) < Elllbm ln — DE i) 
使 用 式 (3.56) 和 式 (3.60) ,可 将 第 m 个 反射 系数 表示 为 





考虑 两 个 复数 集 | a naib 根据 柯 西 - 施 瓦 区 不 等 式 
N 2 N N 
| | Sat < lea? ol 
n=1 n=1 n=l 





用 期 望 取代 求 和 可 得 
| 于 [ea 如 并 入 Efla P] Elbl] 
在 式 (3.60) 中 , 令 ay = fgg (由 ,号 = 可 -ina-1, 使 用 柯 西 - 施 瓦 蒋 不 等 式 可 得 到 1p。 | <1。 
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E[lbmn_iln — 1)f%-1(n)] 
Pm- 





Km 一 


(3.62) 


根据 式 (3.4) 和 式 (3.20), 可 以 写 出 
Pai = Ellfn-i(m)|] = Ellbni(n — 1)] 

因此 ,通过 比较 式 (3.61) 和 式 (3.62) 可 以 看 出 ,反射 系数 x, 是 PARCOR 偏 相关 系数 on 的 负 
数 。 然 而 ,这 个 关系 仅仅 在 广义 平稳 条 件 下 成 立 。 也 就 是 说 ,对 于 一 个 给 定 的 预测 误差 ,仅仅 
当前 向 预测 误差 功率 与 所 描述 的 后 向 预测 误差 功率 相等 时 ,该 关系 才 成 立 。 
3.3.3 列 文 森 - 杜 宾 算 法 的 应 用 

使 用 列 文 森 - 杜 宾 算法 计算 预测 误差 滤波 器 系数 art ,k=0,1,…,M 和 预测 阶 数 为 M 的 
预测 误差 功率 Py ,有 两 种 可 能 的 方式 : 


1) 假设 我 们 已 经 知道 输入 过 程 的 自 相 关 函 数 的 明确 信息 ,并 设 r(0) ,7(1),…,r(M) 分 别 
表示 延迟 为 0,1,…,M 的 自 相 关 函 数 。 例 如 ,这 些 参数 有 偏 估 计 的 计算 可 利用 如 下 时 


间 平 均 公式 
N 
FkK) = 六 S u(nju*(n- k) k=0,1,...,M (3.63) 
n=1+k 


其 中 NSM 是 输入 时 间 序 列 的 长 度 。 当 然 ,也 存在 其 他 可 以 使 用 的 估计 器 2。 但 无 论 
怎样 ,给 定 r(0) ,r(1),…，,r(M) ,可 利用 式 (3.47) 和 式 (3.57) 分 别 计算 A。, 和 Pao 1B 
归 计 算 的 初始 条 件 为 m =0, 此 时 P, =r(0), A= 7° (1)。 注 意 ,对 于 所 有 的 m,a,o = 1， 
anr =0(k>m)。 当 m= M 计算 结束 。 通 过 这 种 方法 得 到 的 预测 误差 滤波 器 系数 和 
预测 误差 功率 的 估计 称 为 尤 尔 -沃克 估计 。 
2) 假设 知道 反射 系数 c, een 和 自 相关 函数 7r(0)。 对 于 列 文 森 - 杜 宾 算 法 的 第 二 
个 应 用 ,我 们 仅 需 知道 如 下 关系 
amk = Am—1,k + Kmat 1 mk k =0,1,...,m 
和 
Pm = Piti ~ [kml ) 
其 中 ,递归 计算 M 的 初始 化 和 算法 终止 判 则 同上 。 
例 2 为 了 说 明 如 何 应 用 列 文 森 - 杜 宾 算 法 的 第 二 个 方法 ,假设 给 定 反射 系数 ki ,ki ,ks 和 平均 
功率 Po。 我 们 希望 解决 的 问题 是 ,使 用 这 些 参 数 决定 对 应 的 抽 头 权 值 azs as, a33 f 





@ 事实 上 ,采用 式 (3.63) 的 有 偏 估计 而 不 用 无 偏 估计 的 原因 在 于 : 当 振 值 接近 于 数据 长 度 N 时 , 它 可 得 到 低 得 多 的 
7( 上 ) 估 值 的 方差 (更 多 细节 见 Box & Jenkins, 1976). Xt F AA BM r(%) 更 精细 的 估计 ,可 采用 McWhorter 和 
Scharf(1995) 的 多 窗口 法 。 该 方法 使 用 多 重 特殊 窗口 ,产生 更 一 般 的 埃 尔 米 特 、 非 负 定 和 调制 不 变 的 估计 。 埃 尔 米 
特 特 性 、 非 负 定 特性 见 第 1 章 。 调 制 不 变性 定义 为 : 令 食 表示 相关 矩阵 估计 ,给 定 输入 向 量 u; 若 D(e*)u 有 一 个 等 
于 D(ey ) 廊 D(e-#) 的 相关 和 矩阵 , 则 说 该 估计 是 调制 不 变 的 ,其 中 D(e# ) = diag( 殖 (eg )) 为 调制 矩阵 , W (et) = 
[l,e ee, MDT 
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3 阶 预 测 误差 滤波 器 的 预测 误差 功率 P，。 应 用 由 式 (3.41) 和 式 (3.57) 所 述 的 列 文 森 - 杜 宾 


` 递 推 ,可 产生 如 下 结果 : 
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1. HHA m =1 的 预测 误差 滤波 器 


和 


2. 阶 数 m =2 的 预测 误差 滤波 器 


和 


a9 = 1 


a1 = Ky 


P, = PI - fx!) 


a = 1, 
a21 = K1 + Kk 


422 = Ky 


P, = P01- |k) 


其 中 已 是 作为 对 m=1 定义 的 。 


3. PA m =3 的 预测 误差 滤波 器 


和 


43,0 = 1 
= * 
43,1) = 421 + K3K2 
-一 * 
43.2 = K2 十 K3434 


43,3 = K3 


B = P,(1 — Jaf) 


其 中 ,az 和 P, 是 作为 对 m=2 25%, 


从 这 个 例子 可 见 , 列 文 森 - 杜 宾 递 推 不 仅 得 到 了 抽 头 权 值 和 阶 数 为 M 的 预测 误差 滤波 器 
的 预测 误差 功率 ,还 分 别 给 出 了 阶 数 为 M -1,… ,1 时 预测 误差 滤波 器 参数 的 相应 值 。 


3.3.4 反 向 列 文 森 - 杜 宾 算 法 


如 例 2 所 示 , 列 文 森 - 杜 宾 递 推 的 正常 应 用 中 ,给 定 一 组 反射 系数 «i , x; ，… ey BRE: 
计算 最 终 阶 数 为 M 的 预测 误差 滤波 器 对 应 的 一 组 抽 头 权 值 cv ones 
的 滤波 器 系数 ayo = 1。 但 是 ,人 们 往往 需要 解决 如 下 逆 问 题 :给 定 抽 头 权 值 ani, ayz ，…， 
axww ; 求 相 应 的 反射 系数 cl, x,，,…, xw。 对 于 这 样 一 个 逆 问 题 ,可 通过 应 用 列 文 森 - 杜 宾 算 法 


的 反 向 形式 来 解决 。 


为 了 推导 反 向 递 推 ,首先 合并 式 (3.41) 和 式 (3.43)( 它 们 分 别 表示 前 向 和 后 向 预测 误差 滤 


Km Qm-1,k 
， k =0,1,...,m 
all aon 


波 器 的 标量 形式 ) 为 矩阵 形式 


am, k ] _ $ 
* * 
Am, m—k Km 


“**, AM,M, © 当然 ,余下 
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其 中 阶 数 m=1,2, 7, Mo (REI nl < 1 并 解 式 (3.64), 可 得 


* 
Umk 一 Am måm,m-k 


1- Jamm 


这 里 利用 了 关系 式 :er = am,a。 现 在 ,我 们 可 以 描述 这 个 过 程 :从 抽 头 权 值 集 为 | an, | AI M 阶 
预测 误差 滤波 器 出 发 ,使 用 式 (3.65) 的 反 向 递 推 ,从 m=M,M -1,…,2 依次 计算 对 应 的 MM-1， 
M -2,…,1 阶 预测 误差 滤波 器 的 抽 头 权 值 。 最 后 , 当 求 出 所 有 抽 头 权 值 后 ,利用 

Km = amm m=M,M —1,...,1 


得 到 相应 的 反射 系数 集合 Kus Ky-is Ko 例 3 给 出 它 的 一 个 应 用 。 


例 3 假设 给 定 三 阶 预 测 误差 滤波 器 抽 头 权 值 a;1,a3,,a33, 要 求 计算 相 应 的 反射 系数 k, 
kz，K3o 对 于 m=3,2, 使 用 式 (3.65) 的 反 向 递 推 ,得 到 如 下 的 抽 头 权 值 ; 


1) 对 于 二 阶 预 测 误差 滤波 器 [对 应 于 式 (3.65) 中 m=3] 





dm-ik = 


k =0,1,...,m (3.65) 


— ¥ 
43,1 一 43,3032 


1- laz 3|? 


a2, 一 


* 

43,2 一 43,3034 
22,2 = — 
， 2 
1- jaz] 


2) 对 于 一 阶 预 测 误差 滤波 器 [对 应 于 式 (3.65) 中 m=2] 


— * 
a21 42,2471 


a1 = 
1- laza} 


其 中 ay, Fe az 与 二 阶 滤波 器 定义 一 祥 。 因此 ,反射 系数 为 


K3 = 43.3 
K2 = 02,2 
K1 = a1 


这 里 C3,3 给 定 ， az 和 Q1,1 通过 计算 得 到 。 


3.4 预测 误差 滤波 器 的 性 质 


性 质 1: 自 相关 郴 数 和 反射 系数 的 关系 
通常 ,平稳 时 间 序列 的 一 阶 统计 其 用 自 相 关 郴 数 或 者 功率 谱 表示 。 这 个 自 相 关 邓 数 和 功 
率 谱 组 成 离散 传 里 时 变换 对 ( 见 第 1 章 )。 另 一 个 描述 平稳 时 间 序列 的 二 阶 统计 量 方 读 是 使 用 
ae 


Pastis ,key ,其 中 Py = r(0) 是 零 延 迟 自 相关 函数 , ,x,,… eu EM BY ESE 
的 反射 系数 。 其 重要 意义 在 于 : Po, Kis Ka Ci 可 以 惟一 确定 自 相 关 函 数 r(0), r(1 j 






E- 
r(M); 反 之 亦 然 。 ey 
ky ee 
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为 了 证 明 这 个 性 质 ,首先 消 去 式 (3.47) 和 式 (3.55) 之 间 的 An- ,从 而 得 到 
S n-arth — m) = —km Pn_1 (3.66) 
对 于 r(m) =r" (- m) fA (3.66) ,并 利用 an-1, = 1, 04 
rm) =$ Pri- Saba ar(on = k) (3.67) 


这 就 是 所 期 望 的 递 推 关系 。 若 给 定 集合 r(0), xk, ey 则 通过 使 用 式 (3.67) 以 及 
列 文 森 - 杜 宾 递 推 方 程式 (3.41) 和 方程 式 (3.57) ,可 递归 地 产生 相应 的 集合 r0), r1), r(M)o 

HF le, | <1, FR (3.67) TA, r(m) (延迟 为 m 的 输入 信号 的 自 相关 函数 值 ) 的 允许 区 
域 是 以 复数 值 


m-1 
— Baser(m —k) 
k=1 
为 圆心 ,以 P,_1 为 半径 的 圆 的 内 部 (包括 圆周 ) ,如 图 3.3 所 示 。 


Tm{r(m)] 


m—i 
Im|-È ap- rm — k) 
k=1 





Re [rGm)] 


rel E asare = »] 
3.3 r(m) BIR RK RRB CA ew | <1) 
假设 给 定 自 相关 函数 值 集合 r(1) ,r(2),，…,r(MN), 则 可 通过 如 下 关系 递归 地 产生 对 应 的 


反射 系数 Ky yp， BD 
Km 一 一 > Sree —m) (3.68) 
m—-1 k=0 

由 求解 式 (3.66) 得 到 。 在 式 (3.68) 中 ,假设 Pa- DH 00 Æ P。 =0, le, 1 = 1, RAK 
序列 cl ,ks，… ,Km_1 的 计算 就 终止 。 

因此 ,我 们 可 做 如 下 表述 ;: 

在 {Po ,wxi,Kk2，… kyl Fer (0), r(1),°, 7(M) | 两 个 集合 之 间 存 在 一 对 一 的 对 应 关系 ; 若 

给 定 一 个 , 则 可 用 递归 方式 惟一 地 确定 另 一 个 。 





第 3 章 线性 预测 123 


例 4 RAZ Pi ,pi ke, 和 Ks, 要 求 计算 7(0),r(1),r(2) 和 (3)。 从 m=1 开始, 由 式 (3.67) 
得 到 
r(1) = —Pyxf 
其 中 
Py = r(0) 
对 于 m=2, HX (3.67) FF 2) 
(2) = -Pił ~ r(1)kř 
其 中 
P, = RB- |x|’) 
ST m=3, HX (3.67) FF 3] 
r(3) = —Pyx} — [ažır(2) + «žr(1)] 
其 中 
P, = P(1 一 ea 站 
和 
a21 = Ky + Kar 
性 质 2: 前 向 预测 误差 滤波 器 的 转移 函数 
S Hy (a) Be m 阶 前 向 预测 误差 滤波 器 的 转移 函数 ,其 脉冲 响应 由 cao 有 =0,1，…m 
定义 , 当 m= M 时 如 图 3.1(b) 所 示 。 根 据 离散 时 间 ( 数 字 ) 信 和 号 处 理 可 知 ,离散 时 间 滤 波 器 转 
移 函 数 等 于 其 对 应 的 脉冲 响应 的 z 变换 , 即 


Hy mlz) = Danez" (3.69) 


其 中 z 是 复 变量 。 基 于 列 文 森 - 杜 宾 递 推 ,特别 是 式 (3.41) ,我 们 可 得 到 m 阶 滤波 器 系数 与 对 
应 的 m -1 阶 ( 即 小 一 阶 ) 预 测 误差 滤波 器 系数 之 间 的 关系 。 特 别 地 ,即将 式 (3.41) 代 入 式 
(3.69) 中 ,我 们 得 到 
Hp m(Z) = Sat iat + ey am-1,m-kZ * 
k=0 
(3.70) 


m-1 
一 * —k * 5-1 —k 
= Um-1,k2 + Km Dd am-1,m-1-kZ 
k=0 k=0 


其 中 ,在 第 二 行 利用 了 anim =0。 序列 csse(E=0,1 :于 -1) 定 义 了 于 - 工 阶 前 向 预测 误 
差 滤波 器 的 脉冲 响应 。 因 此 ,可 以 写 出 


m-1 
Hy m-1(Z) = X a-i,“ (3.71) 
k=0 


序列 dp im-i-nr B= 0,1, mL EXT om -1 阶 后 向 预测 误差 滤波 器 的 脉冲 响应 ; 当 m = M 
时 ,如 图 3.2(c) 所 示 。 式 (3.70) 右 边 第 二 个 求 和 项 表示 这 个 后 向 预测 误差 滤波 器 的 转移 函数 。 
令 H, mz) RANE BR, 即 
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m~-1 
Ay, m-1(Z) = i (3.72) 
将 式 (3.71) 和 式 (3.72) 代 入 式 (3.70), 则 可 写 出 
Hjm(z) = Hyp,m-1(z) + riz Hp, m-1(2) (3.73) 


以 式 (3.73) 的 阶 更 新 递 推 关 系 式 为 基础 ,我 们 可 表述 如 下 : 

给 定 反射 系数 k,, 和 mm 一 1 阶 前 向 和 反 向 预测 误差 滤波 器 的 转移 函数 , 则 可 惟一 地 确定 相 

应 的 m 阶 前 向 预测 误差 滤波 器 的 转移 函数 。 

性 质 3: 前 向 预测 误差 滤波 器 是 最 小 相位 的 

在 zx 平面 单位 圆 (1zl =1) 上 ,我 们 发 现 

|H; m-1(2)| 去 |Hs, m—i(Z)| lz) =1 
通过 在 式 (3.71) 和 式 (3.72) 中 令 z= exp(jw), -r< war 很 容易 证 明 上 式 。 假 设 对 所 有 m, 
反射 系数 x。 满足 1k, 1 < 1。 则 可 发 现 , 在 z 平 面 单位 圆 上 , 式 (3.73) 右 边 第 2 项 满足 如 下 条 
件 
sz Hy m—1(Z)] < |Hom—1(2)] = Er [el = 1 (3.74) 

ZE, Ae I FS RE PB H (Rouche) E M, AE IRM FF : 

[ 罗 切 定 理 ] 如 果 函 数 F(z) 和 GC(z) 在 z 平 面 简单 闭 曲线 ( 轮 廊 线 ) 吧 及 叹 所 围 成 的 区 域内 


解析 , 且 在 @ 上 1F(z)1>16(z)1。 则 在 @ 的 内 部 ,P(z) 与 F(z) + G(z) 有 相同 的 零点 个 
数 。( 详 见 附录 A) 


通常 , 闭 曲 线 % 沿 逆 时 针 方向 , 则 该 闭 曲 线 所 围 成 的 区 域 位 于 它 的 左边 ,如 图 3.4 所 示 。 


如 果 函 数 在 《@% 及 % 围 成 的 区 域内 部 处 处 连续 可 导 , 我 们 就 说 函数 在 @% 及 % 围 成 的 区 域内 部 是 解 
析 的 。 如 果 满 足 这 个 条 件 ,函数 在 6 上 或 @ 围 成 的 区 域内 部 没有 极点 。 






由 围 线 《 围 成 的 区 域 


图 3.4 平面 道 时 针 方 向 的 闭 曲 线 % 及 其 所 围 成 的 区 域 
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设 闭 曲线 为 2 平面 的 单位 圆 , 且 沿 顺 时 针 方 向 ,如 图 3.5 所 示 。 则 根据 上 述 内 容 ,这 个 假 
设 意味 着 闭 曲 线 @ 所 围 成 的 区 域 可 用 该 单位 圆 外 区 域 来 表示 。 
令 
F(z) = Hy.m-1(z) (3.75) 
和 
G(z) = Khz Ay m-1(2) (3.76) 
我 们 观察 到 如 下 现象 : 


o 函数 F(z) 和 G(z) 在 图 3.5 所 定义 的 闭 曲 线 % 的 内 部 没有 极点 。 事 实 上 ,在 这 个 闭 曲线 
所 围 成 的 区 域内 ,它们 具有 连续 导数 。 因 此 , F(z) 和 6G(z) 在 单位 圆 上 及 其 外 部 处 处 
解析 。 l 

o 由 式 (3.74) 和 |x,, | <1 TA, EE F(z)| > 1G(z)1。 


因此 ,就 图 3.5 单位 圆 所 定义 的 闭 曲 线 @ 而 言 ,分 别 由 式 (3.75) 和 式 (3.76) 所 定义 的 函数 F(z) 
和 6C(z) 满 足 罗 切 定理 的 所 有 条 件 。 

BREA Ay (2) AT F(z) 在 z 平面 单位 圆 外 没有 零点 , 则 应 用 罗 切 定理 可 知 ， 
F(z) + G(z) 或 等 价 地 豆 ,。(z) 在 单位 圆 上 或 单位 圆 外 部 没有 零点 。 





图 3.5 沿 顺 时 针 方向 的 单位 圆 作为 闭 曲 线 邑 


特别 是 对 于 m =0, RERA H(z) WEST 1 的 常数 ;因此 , 它 没有 零点 。 利 用 以 上 的 
推导 可 知 ,既然 丽 %(z) 在 单位 圆 外 没有 零点 ,在 lc | <1 条 件 下 ,H(z) 在 这 个 区 域 也 没有 零 
点 。 事 实 上 ,很 容易 证 明 这 个 结果 ,只 须 注 意 到 

Hy a(z) = afo + ağız" 
1+ «#7? 
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因此 ,H(z) 在 z= -Ar 有 一 个 单 零点 ,在 z=0 有 一 个 极点 。 当 1xi1<1 时 ,这 个 零点 一 定位 
于 单位 圆 内 。 换 句 话 说, 五,,(z) 在 单位 图 及 其 外 部 没有 零点 。 在 这 种 情况 下 ,只 要 |x,| <1, 
则 五 .,(z) 在 单位 圆 及 其 外 部 也 没有 零点 。 

于 是 ,现在 可 做 如 下 表述 : 

对 于 所 有 m, m 阶 前 向 预测 误差 滤波 器 传输 函数 已 ,。(z) 在 z 平 面 单位 圆 或 其 外 部 没有 零 

点 , 当 且 仅 当 反射 系数 满足 1kn1<1 时 。 换 句 话 说 ,对 于 某 一 给 定 的 幅度 响应 , 若 一 个 前 

向 预测 误差 滤波 器 对 单位 圆 上 z 的 所 有 可 能 取 值 具有 最 小 相位 响应 ;在 这 个 意义 上 ,我 们 

就 说 它 是 最 小 相位 的 。 

性 质 4: 后 向 预测 误差 滤波 器 是 最 大 相位 的 

同 阶 后 向 和 前 向 预测 误差 滤波 器 的 转移 函数 是 相关 的 ,因为 给 定 一 个 ,就 可 以 惟一 地 确定 
另 一 个 。 为 了 寻找 这 种 关系 ,我 们 首先 估计 m 阶 前 向 预测 误差 滤波 器 的 复 共 斩 天 数 用: (z)， 
即 如 下 函数 [ 见 式 (3.69) ] 


HF m(Z) = $ ane)" (3.77) 
用 z WALSHE 2” 的 倒数 取代 z, 上 式 可 重 写 为 
H} 去 =) = San pz“ 
用 m- k BUN«, 4 
H}n( 5) = "$ amm-aa™ (3.78) 
上 式 右边 求 和 项 组 成 m 阶 后 向 预测 误差 滤波 器 的 转移 函数 , 即 


Ay m(2z = $a amm_kZ (3.79) 
因此 ,到 ,,(z) 与 Hin (ZZ KARA 
1 
H, mlz) = "4p 去 ) (3.80) 


其 中 A; 1/2" ) 通 过 取 Hy, (2) SESE HH > 的 倒数 取代 z 得 到 。 式 (3.80) 表 明 ,用 这 个 
方法 得 到 的 新 函数 乘 以 z-”, 即 得 H, (z), 即 相应 的 后 向 预测 误差 滤波 器 的 转移 函数 。 
设 传输 函数 玉 ,。(z) 用 其 分 解 形式 表示 为 
H; mlz) = Ta 一 2,2") (3.81) 
其 中 as ,= 1,2,…，,m 表示 前 向 预测 误差 滤波 器 的 零点 。 因 此 ,将 式 (3.81) 代 人 式 (3.80) ,可 
用 分 解 形式 将 后 向 预测 误差 滤波 器 表示 为 


(3.82) 
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该 函数 的 零点 位 于 1/z; ,i = 1,2,…,m。 即 后 向 和 前 向 预测 误差 滤波 器 的 零点 在 单位 圆 上 是 
PLA, Yom = 1 时 ,其 几何 特性 如 图 3.6 所 示 。 前 向 预测 误差 滤波 器 具有 有 零点 
z= -好 ,如 图 3.6(a) 所 示 ; 而 后 向 预测 误差 滤波 器 具有 零点 zx = - lei, 如 图 3.6(b) 所 示 。 
图 3.6 的 两 幅 图 中 都 假设 反射 系数 i 是 复数 值 。 由 于 1w。1 < 1( 对 所 有 m), 故 后 向 预测 误差 
滤波 器 的 所 有 零点 位 于 z 平面 单位 圆 的 外 部 。 

因此 ,我 们 有 如 下 表述 ; 

对 于 某 一 给 定 的 幅度 响应 ,如 果 反 向 预测 误差 滤波 器 对 单位 国 上 z 的 所 有 可 能 取 值 具有 

最 大 相位 响应 ,我 们 就 说 该 滤波 器 是 最 大 相位 的 。 





图 3.6 (a) 前 向 预测 误差 滤波 器 在 z = - er 处 的 零点 ; 
(b) 后 向 预测 误差 滤波 器 在 z = - Ve 处 的 对 应 零点 


性 质 5: 前 向 预测 误差 滤波 器 是 白化 滤波 器 
由 定义 可 知 , 白 品 声 过 程 由 一 系列 不 相关 的 随机 变量 组 成 。 因 此 ,如 设 这 个 过 程 用 y(n) 
表示 ,其 均值 为 0, 方 差 为 o, , 则 可 写 出 ( 见 第 1.5 节 ) 


a k=n 


loca emmy] = {2 ken (3.83) 


由 于 过 程 在 时 刻 ”过程 的 值 与 直到 ”- 工时 刻 ( 包 括 n -1 时刻 ) 该 过 程 的 所 有 过 去 值 无 关 
(实际 上 , 它 也 与 该 过 程 的 所 有 未 来 值 无 关 ) ,在 这 个 意义 上 ,我 们 说 白 噪 声 是 不 可 预测 的 。 
于 是 ,我 们 可 以 表述 预测 误差 滤波 器 的 另 一 个 重要 特性 : 
如 果 滤 波 器 阶 数 足 够 高 ,预测 误差 滤波 器 能 够 白化 加 到 其 输入 端的 平稳 离散 随机 过 程 。 
本 质 上 ,预测 依赖 于 输入 过 程 相 邻 样 值 间 存在 的 相关 性 。 其 含义 是 :如 果 增 加 预测 误差 滤 
波 器 阶 数 , 则 可 连续 减 小 输入 过 程 相 邻 样 值 间 的 相关 性 ,直到 最 终 到 达 某 一 个 点 。 在 该 处 滤波 


器 具有 足够 高 的 阶 数 , 以便 产生 由 一 系列 不 相关 样 值 组 成 的 输出 过 程 。 从 而 完成 了 加 到 滤波 
器 输入 端的 原 过 程 的 白化 。 
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性 质 6: 前 向 预测 误差 滤波 器 的 特征 向 量 表示 
前 向 预测 误差 滤波 器 的 表示 很 自然 地 与 滤波 器 中 抽 头 输入 相关 矩阵 的 特征 值 及 相关 的 特 
征 向 量 有 关 。 为 了 推导 这 种 表示 ,首先 用 复数 形式 重 写 M 阶 前 向 预测 误差 滤波 器 的 增 广 维 纳 
- 霍 夫 方程 (3.14) 为 
Ryiiam = Puines (3.84) 
其 中 Ry. ÆR 3.1(b) 中 抽 头 输入 uln),uln-1), =, u(n- M) ACM +1) x (M+ 1) ARR 
RE an 是 滤波 器 的 (M+1) x1 抽 头 权 向 量 , 标 量 Py 是 预测 误差 功率 ,(M+1) x1 Bi, R 
为 第 一 坐标 向 量 , 其 第 一 个 元 素 为 1, 其 他 均 为 0。 这 个 向 量 可 写 为 
ins: = [1,0,...,0]7 (3.85) 
对 ay 求解 式 (3.84) ,可 得 
ay = Py Ritiimr (3.86) 
式 中 Ry, 是 相关 矩阵 Ry, 的 逆 。 使 用 相关 矩阵 Rw, 的 特征 值 -特征 向 量 表示 ,可 将 矩阵 
Ry ANA SLRS E) 
Ri = QAQ” (3.87) 
其 中 A ZEA KEE Ry,i WEA + 1) x (M+ 1) EQ 是 
(M +1) x (M +1) 38%, ERO FT Ot a AS RPE E , BY 
A = diag[Ag, A1,..., ày] (3.88) 
和 
Q = [qu,q qu] (3.89) 
式 中 ,41,…, Ay 是 相关 和 矩阵 Rusi RRE, s qm 所 对 应 的 特征 向 量 。 将 式 
(3.87) ` 式 (3.88) 和 式 (3.89) 代 人 式 (3.86) ,得 到 
ay = Py QA Q im 


qi’ | {1 
qi’ 
= P qj,- dia Apl, ATL, And 。 
| qo qı qm] glas 1 W] : (3.90) 
aŭ L0 
M * 
q4 
= Py (22). 
k=0 \ Ax 


其 中 , gio 是 相关 矩阵 Rw, 的 第 个 特征 向 量 的 第 一 个 元 素 。 注 意 到 前 向 预测 误差 滤波 器 的 
第 一 个 元 素 ay 为 1; 故 由 式 (3.90) 可 知 ,预测 误差 功率 为 
1 


Pu = a 
> lao! Ae (3.91) 


因此 ,在 式 (3.90) 和 式 (3.91) 的 基础 上 ,我 们 有 如 下 结论 : 
M 阶 前 向 预测 误差 滤波 器 的 抽 头 权 向 量 及 所 产生 的 预测 误差 功率 可 由 滤波 器 抽 头 输入 
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相关 矩阵 的 (M + 1) 个 特征 值 和 对 应 的 (M+1) 个 特征 向 量 惟一 定义 。 
3.5 舒 尔 -科恩 测试 


如 果 已 知 相关 的 反射 系数 xj ,x;，… ,wn , 则 第 3.4 节 中 性 质 3 的 M 阶 前 向 预测 误差 最 小 
相位 条 件 的 检验 是 相当 简单 适用 的 。 对 于 其 转移 函数 Hen (z), 所 有 零点 均 在 单位 加 内 的 最 
小 相位 滤波 器 ,可 简单 地 要 求 :对 所 有 m,|1x,1<1。 假 设 除 了 已 知 反 射 系数 外 ,还 给 定 滤波 器 
的 抽 头 权 值 or , ay2 ，…, am,x。 在 这 种 情况 下 ,首先 可 利用 反 向 递 推 [参见 式 (3.65)j] 计 算出 
反射 系数 cko ,kn ,然后 对 所 有 的 m ,检查 1x | <1 是 否 成 立 。 

刚刚 描述 的 方法 ,是 在 给 定 系数 au, am2，…, awn 的 情况 下 ,确定 A, (z) 的 零点 是 否 在 
单位 圆 内 。 这 种 方法 本 质 上 相同 于 舒 尔 - 科 恩 (Schur-Cohn) 测 试 0。 

为 了 表示 和 舒 尔 -科恩 检 测 , 令 

x(Z) = Ay Mz + am, M1 1 ++ amo (3.92) 
它 是 z 的 多 项 式 , 其 中 x(0) = awo = 1。 定 义 
x'(z) = z@x*(1/z*) 
= dim + a miz + + ah oz" 
该 式 为 x(z) 的 倒序 多 项 式 (reciprocal polynomial) ,因为 x’ (2) WERE x(z) 零 点 的 倒数 。 当 
z=0 时 ,有 x(0) = annuo 其 次 ,特别 地 ,定义 其 线性 组 合 
T[x(z)] = 咯 ox(z) — am mx'(z) (3.94) 


(3.93) 


使 得 如 下 值 
T[x(0)] = a%ox(0) — am, mx'(0) 
一 1 一 lex mi 
为 实数 。 注 意 Th x(a) IRS z” 项 。 如 果 我 们 定义 
T'[x(z)] = T{T'[x(z) ]} (3.96) 
而 且 尽 可 能 地 重复 这 个 运算 , 则 将 生成 降序 的 z 的 有 限 多 项 式 序列 ,其 中 系数 awo 为 1。 再 假 
设 : 
1) x(z) 的 多 项 式 在 单位 圆 上 无 零点 
2) m 为 满足 下 式 的 最 小 者 
T%(x(z)]}=0 HRm<M+1 
则 可 将 舒 尔 -科恩 定理 描述 如 下 (Lehmer, 1961) : 


[APRA RES] 如 果 对 于 某 个 i(1<i<m),T'[x(0)] <0 成 立 ,那么 x(z) 在 单位 圆 内 
至 少 有 一 个 零点 。 如 果 对 于 1<i<m, 有 Ti[x(0)] >0 且 7T"![x(z)] 为 一 常数 ,那么 在 


(3.95) 





O 经 典 的 舒 尔 -科恩 测试 是 由 Marden(1949) 和 Retter(1976) 讨 论 的 。 其 来 源 可 追 尖 到 Schur(1917) 41 Cohn(1922), 因 此 也 就 
有 了 这 个 名 字 。 舒 尔 - 科 恩 测试 也 称 为 Lehmer-Schur(Ralston,1965) 方 法 ,由 于 Lehmer(1961) 利 用 Schur 理论 而 得 名 。 
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单位 圆 内 没有 零点 。 

为 了 应 用 该 定理 判断 , 当 ano0 时 , 式 (3.92) 中 x(z) 的 多 项 式 在 单位 圆 内 是 否 存在 零 

我 们 进行 如 下 工作 (Ralston, 1965) : 

1) 计算 TLx(z)]。 看 T[x(0)] 是 否 为 负 。 若 为 负 , 则 在 单位 圆 内 存在 一 个 零点 ,否则 进 
行 下 一 步 。 

2) 计算 Ti[x(z)],i=1,2,…, 直 到 Ti[x(0)] <0(i<m) 或 7T'[x(0)] >0(i<m)。 如 果 
前 者 发 生 , 则 说 明 在 单位 圆 内 存在 零点 ,而 如 果 后 者 发 生 并 且 7T"-![x(z)] 为 一 常数 ， 
则 在 单位 圆 内 不 存在 零点 。 

注意 ; 当 *(z) 在 单位 圆 内 存在 零点 时 ,该 算法 并 未 告诉 零点 的 个 数 , 而 仅仅 证 实 它 的 存 

在 。 通 过 观测 (见习 题 10) 可 以 发 现 , 舒 尔 -科恩 方法 与 后 向 递归 算法 之 间 存 在 如 下 联系 : 

1) x(z) 与 M 阶 后 向 预测 误差 滤波 器 转移 函数 之 间 具 有 如 下 关系 


x(z) = 2MHy wz) (3.97) 
因此 , 如果 每 尔 - 科 恩 测 试 表 明 x(z) 在 单位 圆 内 含有 一 个 或 多 个 零点 , 则 可 得 出 转移 函 
数 及 ,v(z) 不 是 最 大 相位 的 。 
2) 倒序 多 项 式 x'(z) 与 相关 的 M 阶 前 向 预测 误差 滤波 器 之 间 具 有 如 下 关系 
x'(z) = zMHy m(z) (3.98) 


因此 ,如 果 舒 尔 -科恩 测试 表明 与 x'(z) 相 关 的 原 多 项 式 x(z) 在 单位 圆 内 没有 零点 , 则 
可 得 出 传输 函数 二 ,wu(z) 是 非 最 小 相位 的 。 


3) 一 般 地 ,有 
T{x(0)] = JJG ~law-pwP) 1<i<Mm (3.99) 
和 
_ ZTk) 
Ay, m-i(z) = Tx(0)] (3.100) 


其 中 Ay (A MM-i 阶 后 向 预测 误差 滤波 器 的 传输 函数 。 


3.6 平稳 随机 过 程 的 自 回 归 建 模 


平稳 离散 时 间 随 机 过 程 的 前 向 预测 滤波 器 的 白化 特性 和 该 过 程 的 自 回归 建 模 有 着 密切 的 
关系 。 事 实 上 ,从 图 3.7 中 可 以 看 出 ,二 者 是 互补 的 。 图 3.7 (a) 表 示 M 阶 前 向 预测 滤波 器 ， 
图 3.7 (bp) 表示 相 应 的 自 回 归 模 型 。 我 们 有 下 面 两 个 观察 结果 。 

1) 可 把 用 于 平稳 过 程 u(n) 的 预测 误差 滤波 运算 看 做 一 种 分 析 运 算 。 特 别 地 ,通过 选择 

阶 数 M 足够 大 的 预测 误差 滤波 器 ,可 把 这 种 分 析 运 算 用 于 白化 u(n) 过 程 。 在 这 种 情 
况 下 ,滤波 器 输出 端的 预测 误差 过 程 fw(n) 包含 不 相关 的 样 值 。 一 旦 这 个 惟一 性 条 件 
获得 满足 , 原 随机 过 程 u(n) 可 用 滤波 器 抽 头 权 值 axw,;1 和 预测 误差 功率 Py 表示 。 


第 3 章 线性 预测 131 


2) 可 把 平稳 过 程 uw(n) 的 自 回 归 建 模 看 做 一 种 综合 运算 。 特 别 地 ,我 们 可 将 零 均值 方差 
Ao, 的 白 噪声 v(n) 作 为 逆 滤 波 融 (其 参数 置 为 AR 参数 wao M 个 过 去 值 即 [z(mz- 1)， 
,uu(n 一 及 )], 因 而 …k=1,2,…, 必 ) 的 输入 来 生成 AR 过 程 w(n)。 该 模型 的 输出 
[ 记 为 u(n)] 就 是 其 输入 的 M 个 过 去 值 即 [w(n -1),…,u(n -MN)] 的 回归 ,因而 该 模 
型 取 名 为 自 回 归 模 型 。 


图 3.7 中 的 两 种 滤波 器 结构 组 成 了 一 个 匹配 对 ,其 系数 具有 如 下 关系 





(=) © u(n — M +1) 


© “ i ° 


(b) 自 回 归 (全 极点 ) 模 型 , 当 乒 1,2,…,M 时 w=-awi; MA VG) A 
图 3.7 MM 阶 前 向 预测 滤波 器 及 其 相应 的 自 回 归 模 型 
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Auk 一 Worx k =1,2,...,M 
且 


Py = o? 

图 3.7(a) 中 预测 误差 滤波 器 是 一 个 具有 有 限 脉冲 响应 的 全 零点 滤波 器 。 另 一 方面 ,在 图 3.7(b) 
AR 模型 中 的 逆 滤 波 器 是 一 个 具有 有 限 脉 冲 响应 的 全 极点 滤波 器 。 图 3.7 (a) 中 预测 误差 滤波 
器 具有 最 小 相位 , 且 其 转移 函数 的 零点 和 图 3.7 (b) 中 逆 滤波 器 转移 函数 的 极点 在 同一 个 位 置 
(在 zx 平面 中 的 单位 圆 内 )。 在 有 界 输入 -有 界 输出 意义 上 , 它 保证 了 逆 滤 波 器 的 稳定 性 ,或 者 
说 保证 了 该 滤波 器 输出 端 生成 的 AR 过 程 的 渐进 平稳 性 。 

前 向 预测 误差 滤波 与 自 回归 建 模 之 间 的 数学 等 效 性 的 实际 应 用 基于 如 下 方式 :假设 我 们 
有 一 个 M 阶 自 回 归 过 程 ,该 过 程 的 回归 系数 是 未 知 的 。 在 这 种 情况 下 ,可 用 自 适应 线性 滤波 
来 估计 回归 系数 。 线 性 预测 器 自 适 应 算法 或 预测 误差 滤波 器 的 设计 在 以 后 的 章节 中 讨论 。 


3.6.1 AVA RA is AS ME 


前 向 预测 误差 滤波 和 自 回归 建 模 之 间 数 学 等 价 性 的 另 一 方法 体现 在 参数 法 功率 谱 估 计 
(parametric power spectrum estimation) 中 。 为 了 解决 这 个 问题 ,首先 考虑 图 3.7(b) 的 AR 模型 。 
模型 输入 端 v(n) 是 一 个 零 均值 方差 为 敢 的 白 噪 声 。 通 过 模型 输入 v(n) 的 功率 谱 密 度 和 模 
型 的 幅度 响应 的 平方 相 乘 , 即 得 模型 输出 端 生成 的 AR 过 程 u(n) 的 功率 谱 密度 (参考 第 1 
章 )。 用 Sa(ow) 表 示 x(nm) 的 功率 谱 , 则 可 写 出 


Sarlo) = M 2 
1- Suge (3.101) 
k=1 





上 和 式 称 为 自 回归 功率 谱 (autoregressive power spectrum) BK RER AR Wo JRT Fae ATT HK 
(MEM, maximum entropy method) 得 到 。 假 设 给 定 一 个 广义 平稳 过 程 x(z) 的 自 相 关 函 数 的 2M+1 
值 。 最 硕 方法 的 实质 就 是 确定 这 个 过 程 的 功率 谱 , 该 过 程 对 应 于 最 具 随 机 性 的 时 间 序 列 ,其 
自 相关 函数 与 已 知 的 2M+ 1 个 自 相关 函数 值 相 一 致 (Burg,1968,1975)。 这 样 得 到 的 结果 称 为 
RAD AS ,或 简称 MEM 谱 , 并 用 Sven (eo) 表示 该 功率 谱 。Syew (ww) 的 定义 与 M 阶 预 测 误 
差 滤 波 器 的 特性 相 联 系 , 即 

Pu 


M 2 
Lt Sat, eo (3.102) 
È ah 





SMEM(w) = 


其 中 aw, 表 示 预 测 误差 滤波 器 系数 , Py 表示 预测 误差 功率 ,所 有 这 些 都 对 应 于 M 阶 预 测 。 由 
于 图 3.7(a) 预 测 误差 滤波 器 与 图 3.7(b) 中 AR 模型 的 一 一 对 应 关系 ,我们 有 

amr =W k=1,2,...,M (3.103) 
和 


2 


Py = 0, (3.104) 


因此 , 式 (3.101) 和 式 (3.102) 完 全 是 一 回 事 。 换 句 话 说 ,在 广义 平稳 过 程 的 情况 下 , AR 谱 ( 对 
于 M 阶 模型 ) 和 MEM 谱 ( 对 于 M 阶 预测 ) 实 际 上 是 等 价 的 (Van den Bos,1971)。 
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3.7 Cholesky 分 解 


考虑 一 组 阶 数 为 0 到 M 且 并 行 连接 的 预测 误差 滤波 器 ,如 图 3.8 所 示 。 这 些 滤 波 器 由 同 
一 个 输入 信号 x(m) 激 励 。 注 意 , 在 零 阶 预 测 误差 的 情况 下 , 它 是 直通 的 ,如 图 3.8 顶端 所 示 。 
令 bo(nn),b1(n),…, bu(n) 表 示 由 这 些 滤波 器 产生 的 后 向 预测 误差 序列 , 则 可 根据 滤波 器 各 
自 的 输入 与 系数 表示 这 些 误差 如 下 
b(n) = u(n) 
b(n) = aulan) + a ou(n — 1) 
b(n) = ay2u(n) + aufn — 1) + a gu(n — 2) 


by(n) = ay.mu(n) + am m-iuln — 1) +-+ ayou(n — M) 
将 KW+1I 个 线性 联 立 方程 组 合成 更 紧 凌 的 矩阵 形式 ,有 
b(n) = Lu(n) (3.105) 
其 中 
u(n) = [u(n), u(n — 1),...,u(n — MY 
是 一 个 (M+1) x 1 输入 向 量 ; 
b(n) = [bo(n), bi(n),..., bulin) 


5b(n) 是 一 个 (+1) x1 后 向 预测 误差 输出 向 量 。 而 式 (3.105) 右 边 (M+1) x (M+ 1) AAE 
阵 按 零 阶 到 M 阶 后 向 预测 误差 滤波 器 系数 定义 为 


L ii (3.106) 
amm amm- ` 1 










图 3.8 阶 数 从 0 到 M 的 并 行 连接 的 后 向 预测 误差 滤波 器 


b(n) 





by(") 
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矩阵 工具 有 如 下 三 个 有 用 的 特性 : 

1) 矩阵 工 是 一 个 主 对 角 系 数 丝 为 OP SAS ENA LMA CREO. 

2) EE L 的 行列 式 等 于 1, 因 此 它 是 非 奇 异 的 。 

3) 除了 复 共 罗 e 外 ,和 矩阵 工 中 每 一 行 的 非 零 系 数 等 于 后 向 预测 误差 滤波 器 的 权 值 ,该 后 向 

预测 误差 滤波 器 的 阶 数 对 应 于 该 行 在 矩阵 中 的 位 置 。 

基于 式 (3.105) 的 算法 称 为 Gram-Schmidt 正 交 化 算法 D。 根 据 该 算法 ,在 输入 向 量 u(n) 和 
后 向 预测 误差 向 量 b(n) 之 间 存 在 着 一 一 对 应 关系 。 特 别 地 ,给 定 u(n) ,通过 式 (3.105) 即 得 
b(n) 。 反 之 ,给 定 b(n) ,通过 式 (3.105) 求 逆 运 算 , 就 可 得 到 对 应 的 向 量 u(n), 即 

u(n) = L b(n) (3.107) 

H LEER L ee, 


3.7.1 预测 误差 的 正 交 性 


组 成 向 量 b(n ) 的 后 向 预测 误差 bo(n), bi(n),…, bu(n) 有 一 个 重要 特性 :它们 互相 正 
Ze, BA 


Pan i=m 


B[baimyor(ny] = {9 om 


为 了 推导 这 个 性 质 , 我 们 进行 如 下 工作 :首先 ,不 失 一 般 性 。 假 设 mei, Rie RMA u(r), 
将 后 向 预测 误差 b;(n) 表 示 成 线性 卷 积 和 


(3.108) 


b(n) = D aln —k) (3.109) 
除了 用 预测 阶 数 i REM 外 ,其 他 和 式 (3.37) 一 样 。 用 这 个 关系 计算 六 (zz)b (nA 
E(b,,(n)b¥(n)] = E[b,,.(n) Sat at ;_,u*(n — k)] (3.110) 


根据 正 交 性 原理 ,有 
E|b,(n)u*(n —k)]}=0 O<k<m-1 (3.111) 
对 于 m > i 和 0<k<i 两 种 情况 ,我 们 发 现 , 式 (3.110) 右 边 的 所 有 期 望都 等 于 0。 相 应 地 ， 
E[b,,(n)b*(n)] = 0 mzi 
当 m=i 时 , 式 (3.110) 可 简化 为 
Elbn(n)bt(n)] = Elbn(n)bs(n)] 
=P, m=1 


从 而 ,得 到 式 (3.108)。 然 而 ,必须 注意 到 , 它 仅 适用 于 广义 平稳 输入 数据 。 
于 是 ,我 们 看 到 ,由 式 (3.105) 给 出 的 Gram-Schmidt 正 交 化 算法 ,把 包含 相关 样 值 的 输入 向 


@ 对 于 Gram-Schmidt 算法 及 其 改进 方法 的 详细 实现 参见 Haykin(1989a) 
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量 u(n) 变 换 为 等 效 的 不 相关 的 后 向 预测 误差 向 量 b(m)9。 


3.7.2 相关 矩阵 RR 的 逆 矩 阵 的 分 解 


有 了 后 向 预测 误差 相互 正 交 这 一 重要 性 质 后 ,我 们 回 到 式 (3.105) 的 Gram-Schmidt 正 交 化 
算法 所 描述 的 变换 。 特 别 地 ,使 用 这 个 变换 , 即 可 依照 输入 向 量 u(n) 的 相关 和 矩阵 把 后 向 预测 
误差 向 量 b(n) AR RA 

E{b(n)b"(n)] = E[Lu(n)u4(n)L"] 
= LE[u(n)u"(n)|L? (3.112) 
4 
D = E[b(n)b"(n)| (3.113) 
表示 后 向 预测 误差 向 量 bp(m) 的 相关 和 矩阵。 如 前 ,用 及 表示 输入 向 量 un) MRS. FE, 
式 (3.112) 可 重 写 为 
D = LRL” (3.114) 
至 此 ,我 们 可 得 到 两 个 结论 : . 
1) 当 输 入 向 量 u(n) WARE R 是 正定 的 且 其 道 矩 阵 存 在 时 , 则 后 向 预测 误差 向 量 
b(n) 的 相关 和 矩阵 D 也 是 正定 的 , 它 的 逆 和 矩阵 也 同样 存在 。 
2) 由 于 b(n) SCRE IES, BOSS D 为 对 角 阵 。 特 别 地 ,我 们 可 把 D 表示 为 


D = diag(Py, P,,..., Pu) (3.115) 
其 中 P, 就 是 后 向 预测 误差 六 (mn) 的 平均 功率 , 即 
P = El|b(n)?]  i=0,1,...,M (3.116) 
D 的 道 和 矩阵 也 是 一 个 对 角 阵 , 即 
D” = diag(Po', P7',..-, PH) (3.117) 
PA, By FAR (3.114) FEE RRA 
R = LID-'L 
一 (D7L)"(D“""L) (3.118) 


这 就 是 我 们 所 要 的 结果 。 
式 (3.118) 第 一 行 中 的 逆 抵 阵 D-: 是 由 式 (3.117) 定 义 的 对 角 矩 阵 。 式 (3.118) 第 二 行 中 的 
D 表示 矩阵 D-! 的 平方 根 。 它 也 是 对 角 矩 阵 ,定义 为 
D2 = diag (P5", Pi!?,..., Pit) 


式 (3.118) 中 所 表示 的 变换 称 为 道 矩阵 及 :的 Cholesky 分 解 。 应 注意 到 ,矩阵 Do’ L 是 一 个 不 





@ ”两 个 随机 变量 X 和 YY 是 正 交 的 条 件 为 E[LXY* ] = 0, 不 是 正 交 的 条 件 为 ECX- ELX])(Y- EL[Y])* ] = 0。 如 果 
X,Y 中 的 一 个 或 全 部 具有 零 均值 ,那么 这 两 个 条 件 就 是 一 样 的 。 对 于 上 面 的 讨论 ,输入 数据 ,后 向 预测 误差 都 假设 
为 零 均 值 。 在 这 个 假设 下 , 正 交 和 不 相关 是 等 价 的 。 
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同 于 式 (3.106) 的 下 三 角 和 矩阵 L, 因为 此 处 对 角 元 素 不 等 于 1。 同 时 也 应 注意 到 , 埃 尔 米 特 转 冒 
矩阵 (D-L)* 是 一 个 上 三 角 和 矩阵 ,其 对 角 元 素 也 不 等 于 1。 因 此 ,根据 Cholesky 分 解 , 逆 相关 
矩阵 R"' 可 分 解 为 一 个 上 三 角 和 矩阵 和 一 个 下 三 角 和 矩阵 之 积 , 二 者 互 为 埃 尔 米 特 转 置 。 


3.8 格 型 预测 器 


为 了 实现 式 (3.105) 的 Gram-Schmidt 算法, 以便 把 相关 样 值 组 成 的 输入 向 量 u(n) 变 换 为 由 
不 相关 后 向 预测 误差 样 值 组 成 的 等 效 向 量 b(n), 可 采用 直接 路 径 与 合适 数量 后 向 预测 误差 滤 
波 器 并 联 的 方法 ,如 图 3.8 所 示 。 向 量 b(n) 和 向 量 u(n) 在 包含 相同 信息 量 的 意义 上 而 是 等 
价 的 (见习 题 21)。 然 而 ,实现 该 算法 的 男 一 种 有 效 得 多 的 方法 是 采用 形 如 梯 状 的 阶 递 归结 
构 , 称 为 格 型 预测 器 (lattice predictor) 。 该 系统 把 若干 前 向 和 后 向 预测 误差 滤波 运算 整合 成 单 
一 结构 。 具 体 来 说 ,一 个 格 型 预测 器 是 一 些 基 本 单元 (级 ) 的 级 联 。 所 有 基本 单元 具有 类 似 于 
格 型 的 结构 , 故 取 名 为 格 型 预测 器 。 因 此 ,对 于 m 阶 的 预测 误差 滤波 器 ,在 该 滤波 器 格 型 实现 
HA m Bo 


3.8.1 用 于 预测 误差 的 阶 更 新 递归 关系 


一 个 格 型 预测 器 的 输入 输出 关系 可 用 不 同 的 方法 导出 ,取决 于 列 文 森 - 杜 宾 算 法 使 用 的 特 
殊 形 式 。 根 据 此 处 介绍 的 推导 ,我 们 将 从 式 (3.40) 和 式 (3.42)( 分 别 表示 一 个 预测 误差 滤波 器 
的 前 向 和 后 向 运算 ) 给 出 的 算法 矩阵 分 解 形式 出 发 进行 讨论 。 为 了 表述 方便 , 重 写 这 两 个 关系 


式 如 下 
an =| m] +e 0 
m 0 m| abs, (3.119) 


0 an 
Ba = + * m-l1 
wfe Joule’ a 


(m+1)x1 向量 a 和 m x1 向量 a,_1 分 别 指 m GA m -1 阶 前 向 预测 误差 滤波 器 。Cm +1) x1 
HE a 和 m x1 向量 ai 分别 表示 m 阶 和 m -1 阶 后 向 预测 误差 滤波 器 。 标 量 x 与 反射 
系数 有 关 。 

首先 考虑 m 阶 前 向 预测 误差 滤波 器 ,其 输入 记 为 ulan) uln-1), =, u(n- M) RIE 
该 滤波 器 的 (m+1) x 1 抽 头 输入 向 量 u,,1(n) 写 为 如 下 形式 


Um+1(7) = Fess (3.121) 
或 其 等 价 形式 
Wn+1(n) = | (3.122) 


其 次 ,用 av 的 埃 和 尔 米 特 转 置 左 乘 u,,1(n) 后 组 成 (m+1) xl 向量 an 与 向 量 ww (na) 的 内 积 。 
因此 ,利用 式 (3.119) ,对 av 我 们 可 对 这 个 乘法 得 到 的 各 项 结果 处 理 如 下 : 


1) 对 于 式 (3.119) 左 边 , 用 at 左 乘 u,,1(n) 得 到 
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faln) = aml) (3.123) 
其 中 f, (n) RAN m 阶 前 向 预测 误差 滤波 器 输出 的 前 向 预测 误差 。 
2) 对 于 式 (3.119) 右 边 的 第 一 项 ,利用 式 (3.121) 给 出 的 a ,1《n) 的 分 块 形式 ,有 


oa = (ats ff ta) 
= af_ium(n) 
= fn_1(n) 
其 中 /._1(n) 表 示 m — 1 阶 前 向 预测 误差 滤波 器 输出 的 前 向 预测 误差 。 
3) 对 于 式 (3.119) 右 边 第 二 个 矩阵 项 ,利用 式 (3.122) 给 出 的 u,,1(n) 的 分 块 形式 ,可 写 出 


[0 | asTijun(n) = [0 | a u(m) 
= an un(a T 1) 
= b,-1(n ~ 1) 
其 中 bnin- DER m — 1 阶 后 向 预测 误差 滤波 器 输出 延迟 后 的 后 向 预测 误差 。 


组 合式 (3.123)、 式 (3.124) (3.125) 的 结果 , 可 得 
fan) = fn-i(n) + Kmbm-i(n — 1) (3.126) 
下 面 ,考虑 m 阶 后 向 预测 误差 滤波 器 ,其 输入 记 为 ulan) ,uln-1), e,un- m) ZE, 
我 们 再 一 次 把 该 滤波 器 的 (m +1) x 1 抽 头 输入 向 量 u,,1(n) 写 成 式 (3.121) 或 式 (3.122) 的 分 
块 形式 。 在 这 种 情况 下 ,有 如 下 类 似 于 前 向 预测 滤波 的 结果 : 
1) 对 于 式 (3.120) 左 边 ,用 ar 的 埃 尔 米 特 转 置 左 乘 g,, ,1(n), 得 到 
bn(n) = am umnri(n) (3.127) 
ba (n) m 阶 后 向 预测 误差 滤波 器 输出 的 后 向 预测 误差 。 
2) 对 于 式 (3.120) 右 边 的 第 一 项 ,利用 式 (3.122) 给 出 的 ww.,,(n) 的 分 块 形式 。 该 项 的 埃 
尔 米 特 转 置 乘 以 un (n), 448 
[0 i aži Jun+(7) = [0 i agr] 
= afl um(n — 1) 
= byi(n — 1) 
3) SPsk (3.120) AIA Fs — ThE, A (3.121 Yu. CBRE RK 
SHIR AR APS BFL un (n) ,得 到 


[ax | Olt pei(n) = [až | olf gan 


(3.124) 


(3.125) 


(3.128) 


(3.129) 


把 式 (3.127) , 式 (3.128) , 式 (3.129) 组 合 在 一 起 , 可 得 如 下 结果 
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Bl) = bmilan — 1) + Kmfm-1(n) (3.130) 
式 (3.126) 和 式 (3.130) 就 是 我 们 所 要 寻找 的 一 对 阶 更 新 递归 关系 (order-update recursions) 。 
它 表征 m 级 格 型 预测 器 ,其 矩阵 形式 为 


fain) | - i “| an D m=1,2,...,M (3.131) 


我 们 可 把 5,_1(n -1) 看 做 将 单位 延迟 算 子 z-! 作 用 于 后 向 预测 误差 5,_1(n) 的 结果 , 即 
ba in — 1) = zl[b, 1(n)] (3.132) 
因此 ,利用 式 (3.131) 和 式 (3.132) ,可 用 图 3.9(a) 所 示 的 信和 号 流 图 表示 第 m 级 格 型 预测 器 。 除 
了 用 方块 记号 表示 的 z! 外 ,这 个 信号 流 图 看 起 来 很 像 个 网 格 ,因此 取 名 为 格 型 预测 中 。 注 意 ， 
格 型 预测 的 第 m 级 参数 仅 由 反射 系数 xc 决定 。 
对 于 m =0 的 情况 ,有 以 下 初始 条 件 
fln) = bo(n) = u(n) (3.133) 
其 中 wu(n) 是 时 刻 n 的 输入 信号 。 因 此 ,从 0 开始 依次 递增 滤波 器 的 阶 数 ,每 次 增 1, 则 可 得 到 
图 3.9(b) 所 描述 的 M 阶 预 测 误差 滤波 器 的 一 个 等 价格 型 模型 。 在 这 幅 图 中 ,我 们 仅仅 要 求知 
道 反射 系数 完备 集 0, ,x;，… ,xx ,一 个 系数 对 应 于 滤波 器 的 一 级 。 
图 3.9(b) 给 出 的 格 型 滤波 器 具有 如 下 吸引 人 的 特点 : 


1) 对 于 同时 生成 前 向 和 后 向 预测 误差 序列 来 说 , 格 型 滤波 器 是 一 种 高 效 的 结构 o 

2) 各 级 格 型 滤波 器 是 相互 “ 解 耦 的 "。 这 个 解 耦 特性 实际 上 可 由 第 3.7 节 得 到 。 在 该 处 
已 经 证 明 , 对 于 广义 平稳 输入 ,各 级 格 形 预测 器 产生 的 后 向 预测 误差 彼此 “ 正 交 ”。 

3) 格 型 滤波 器 在 结构 上 是 模块 化 的 ;因此 ,如 果 需 要 增加 预测 器 的 阶 数 , 仅 需 增加 一 级 或 
多 级 而 不 影响 以 前 的 计算 。 , 

A) 格 型 预测 器 的 所 有 级 都 有 相似 的 结构 ; 因此 ,这 样 的 预测 器 很 适合 超大 规模 集成 
(VLSI, very large scale integration) 实 现 ,这 十 分 有 益 于 许多 感 兴趣 的 应 用 。 


3.9 全 极点 .全 通 格 型 滤波 器 


图 3.9(b) 所 示 的 多 级 格 型 预测 器 把 两 种 全 零点 预测 误差 滤波 器 组 合成 一 个 单一 结构 。 
特别 地 ,利用 第 3.4 节 中 介绍 的 预测 误差 滤波 器 的 性 质 3 和 性 质 4, 我 们 可 作 如 下 表述 : 


o 从 公共 输入 z(z) 到 前 向 预测 误差 fu(n) 的 电路 是 一 个 最 小 相位 全 零点 滤波 器 。 
e 从 公共 输入 wu(n) 到 后 向 预测 误差 by (nn) 的 电路 是 一 个 最 大 相位 全 零点 滤波 器 。 


QTtakura 和 Saito 首先 把 格 型 滤波 器 应 用 于 语音 分 析 领 域 中 的 一 维 信号 处 理 。 等 效 的 格 型 滤波 器 模型 和 地 理 信号 处 
理 中 的 分 层 地 球 模型 很 相像 。 伐 有 趣味 的 是 ,这 种 格 型 滤波 器 在 网 络 理论 ,特别 是 在 多 端口 网 络 级 联 综合 中 得 到 
深入 研究 。 
实际 上 ,线性 预测 器 还 有 一 种 基于 Schur 算法 的 结构 。 类 似 于 列 文 森 - 杜 宾 算 法 ,Schur 算法 提供 了 一 种 利用 已 知 的 
自 相关 系列 计算 反射 系数 的 方法 。Schur 算法 便于 并 行 实现 ,因此 可 获得 比 列 文 森 - 杜 宾 算 法 更 高 的 数据 吞吐 率 。 
关于 Schur 算 法 的 讨论 ,包括 它 的 数学 细节 和 实现 考虑 , 参见 Haykin(1989a)。 
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图 3.9(b) 所 示 的 多 级 格 型 预测 器 可 重组 为 全 极点 、 全 通 结合 的 格 型 滤波 器 。 为 此 ,我 们 
首先 安排 式 (3.126) 的 各 个 项 ,从 而 得 到 
fin-1(7) = f(t) — Kmbm-i(n — 1) (3.134) 


fn-1(n) Salh) 






(a) M 级 格 型 预测 器 信号 流 图 


fot”) fin) 





fm-1(n) : faln) 


a bm -1(n) 








第 1 级 BMA 
(b) 4 阶 格 型 预测 误差 滤波 器 (全 零点 ) 
图 3.9 格 型 预测 器 


其 中 ,前 向 预测 误差 广 (m) 现 被 作为 重组 的 格 型 滤波 器 的 第 m 级 输入 变量 。 为 了 便于 表示 ， 
重 写 式 (3.130) 如 下 
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baln) = bn-i(n — 1) + Kmfm-1(n) (3.135) 
式 (3.134) 和 式 (3.135) 定 义 了 重组 的 格 型 滤波 器 第 m 级 输入 输出 关系 。 于 是 , 式 (3.133) 的 初 
始 化 条 件 对 应 于 阶 数 m = 0, 依 次 增加 滤波 器 的 阶 数 ,将 得 到 重组 的 格 型 滤波 器 结构 , 如 图 
3.10 所 示 。 然 而 ,注意 到 图 3.10 中 公共 终端 产生 的 uw(n) 是 输出 信号 ,而 在 图 3.9(b) 中 它 是 作 
为 输入 信和 号。 同样 ,在 图 3.10 中 f,, (nn) 作为 输入 信号 ,而 在 图 3.9(b) 中 它 作为 输出 信和 号 。 

为 了 激励 图 3.10 所 示 的 多 级 格 型 滤波 器 , 取 自 白 噪 声 y(n) 的 抽样 序列 被 用 做 输入 信号 
Cn)。 图 3.10 中 从 输入 faa STH wu(n) 的 电路 构成 了 M 阶 全 极点 滤波 器 。 因 此 ,根据 
第 3.6 节 关 于 平稳 随机 过 程 自 回归 建 模 的 讨论 ,我 们 把 这 种 全 极点 滤波 器 看 做 综合 器 ,而 把 图 
3.9(b) 中 相应 的 全 零点 格 型 预测 器 视 为 分 析 器 。 

后 向 预测 误差 by (n ) 构 成 图 3.10 滤波 器 的 第 二 个 输出 。 从 输入 (nn) 到 输出 by Cr) 
电路 构成 一 个 M 阶 全 通 滤波 器 。 滤 波 器 极点 和 零点 相对 于 z 平面 单位 圆 互 为 倒数 (见习 题 
18)。 于 是 ,图 3.10 中 重组 的 多 级 格 型 滤波 器 将 全 极点 滤波 器 和 全 通 滤波 器 组 合 为 一 个 单一 
结构 。 


fu-1@) 








fi) foin) 





fmin) = 
白 噪声 v(n) 


bm (n) by-1() =z) 
by-1(n-1) 
一/ 
第 M 级 第 1 级 


图 3.10 M 阶 全 零点 、 全 通 格 型 滤波 器 


例 5 考虑 图 3.11 的 两 级 全 极点 格 型 滤波 器 。 存 在 4 种 可 能 的 电路 可 作为 输出 wu(n) 的 候选 
方案 ,如 图 3.12 所 示 。 特 别 地 ,我 们 有 


u(n) = v(n) — kfu(n — 1) 一 Kyxtu(n — 1) — x}u(n — 2) 


= v(n) — (kf + KyKF)u(n — 1) ~ kžu(n — 2) 
回顾 例 2 可 知 
Ay, = K, + Kt Ky 


和 
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a = ky 
因此 ,我 们 可 把 控制 过 程 u(n) 产 生 的 机 制 表示 为 
u(n) + a¥,u(n — 1) + af,u(n — 2) = v(n) 
这 就 是 二 阶 AR 过 程 的 差分 方程 。 


AR 过 程 
u(n) 





第 2 级 第 1 级 
图 3.11 二 阶 全 极点 格 型 滤波 器 


3.10 联合 过 程 估 计 


在 本 节 ,我 们 利用 格 型 预测 器 作为 一 个 子 系统 来 解决 在 均 方 误差 意义 上 最 优 联合 过 程 估 
计 问 题 (Griffiths,1978; Makhoul,1978)。 特 别 地 ,我 们 通过 使 用 导 自 相关 过 程 w(n) 的 一 组 可 观 
测 值 , 考 虑 期 望 响 应 过 程 4(n) 的 最 小 均 方 误差 估计 问题。 我们 假定 过 程 4(n) 和 wu(n) 是 联 
合 平稳 的 。 这 种 估计 问题 类 似 于 第 2 章 所 考虑 的 问题 ,其 基本 不 同 是 :在 第 2 章 , 我 们 直接 把 
过 程 x(z) 的 样 值 用 做 可 观测 值 ,而 此 处 ,对 于 可 观测 值 ,我 们 使 用 的 是 一 组 由 馈送 多 级 格 型 
预测 器 输入 [ 带 有 过 程 wx(z) 样 值 ] 得 到 的 后 癌 预 测 误差 。 后 向 预测 误差 彼此 互相 正 交 的 事实 
大 大 简化 了 问题 的 解决 方案 。 

联合 过 程 估计 器 结构 如 攻 3.13 所 示 。 该 系统 联合 完成 两 种 最 优 估计 : 


1) 格 型 预测 器 ” 它 由 反射 系数 ci ,ea sey BERM 级 单元 级 联 组 成 ,完成 对 输入 的 预 
测 。 它 把 相关 输入 样 值 序列 w(n),a(a -1), a(n — 1) 转换 成 相应 的 非 相 关 后 向 
预测 误差 序列 baln) b(n), t, by (nr) 

2) 多 重 回归 湾 波 器 。” 它 由 一 组 权 值 hy his, hu KATE, 4 BAHEA REDIR 
差 序 列 baln), bi (n), =, bu (n) 进 行 运算 ,产生 对 期 望 响 应 a(n) 的 信 计 。 BERR 


义 为 这 两 组 量 的 各 自 标量 内 积 之 和 , 即 ` $ 
M 4 
(nun) = > h'bi(n) (3.136 
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HU, 是 由 ww(n) ,aa -Duan -MI) 张 成 的 空间 。 式 (3.136) 亦 可 写 为 矩阵 形 
式 


d(n|\%U,,) = hib(n) (3.137) 
式 中 h 是 (M+1)x1 向 量 

h = [ho, hs, hyl (3.138) 
我 们 将 ho hiss hu 称 为 估计 器 的 回归 系数 ,并 把 h 称 为 回归 系数 向 量 。 


BI v(n) (5) (5) u(n) 


u(n) 


FE 2 


HE 3 





Hi 4 





图 3.12 对 图 11 的 全 极点 格 型 反 向 滤波 器 输出 u(n) 做 出 贡献 的 四 条 可 能 路 径 


S D 表示 b(n)[ 后 向 预测 误差 b(n),b4(n),…,bx(n) 的 (村 +1) x1 向 量 ] 的 (M+1)x 
(M +1) 相关 向 量 ,z 表示 后 向 预测 误差 和 期 望 响应 的 (M+ 1) x 1 互相 关 向 量 ; 则 有 
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z = Elb(n)d*(n)| (3.139) 
因此 ,如 将 维 纳 - 霍 夫 方程 用 于 这 种 情况 , 则 最 优 回归 系数 向 量 h, 可 定义 为 
Dh, =z (3.140) 
由 此 可 得 
h, = Dz (3.141) 


其 中 逆 矩 阵 D :是 按照 各 预测 误差 功率 定义 的 对 角 阵 ,如 式 (3.117) 所 示 。 注 意 , 与 维 纳 滤波 
器 通常 的 横向 实现 不 同 ,图 3.12 联合 过 程 估计 器 中 h, 的 计算 完成 起 来 相对 简单 。 
第 1 级 第 MM 级 


fm-10) fu (n) 





图 3.13 ”基于 格 型 结构 的 联合 过 程 估 计 


3.10.1 最 优 回归 系数 向 量 与 维 纳 解 的 关系 
根据 式 (3.118) 给 出 的 Cholesky 分 解 ,可 导出 


D! =L4R OVW (3.142) 
于 是 ,将 式 (3.142) 代 人 式 (3.141) ,可 得 
h, = LHR Lz (3.143) 


THE, ASK (3.105) ,我 们 有 
b(n) = Lu(n) (3.144) 
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因此 ,将 式 (3.144) 代 入 式 (3.139) ,得 到 
z = LE[u(n)d*(n) | 
=-Lp 
其 中 ,p 是 抽 头 输入 向 量 u(n) 与 期 望 响 应 4(n) 的 互相 关 向 量 。 于 是 ,利用 式 (3.145) 和 
式 (3.143) ,我 们 最 后 得 到 


(3.145) 


h, = LR-!L Lp 
= L”R”’p (3.146) 
=L fw, 
其 中 ,L 是 式 (3.106) 中 等 价 前 向 误差 滤波 器 系数 定义 的 下 三 角 和 矩阵 。 式 (3.146) 就 是 我 们 所 要 
寻找 的 最 优 回归 系数 向 量 h, 与 维 纳 解 w, = 及 -:p 之 间 的 关系 。 


3.11 语音 预测 建 模 


本 章 研究 的 线性 预测 理论 已 经 在 语音 和 视频 信号 的 线性 预测 编码 方面 得 到 了 应 用 。 本 节 
我 们 将 讨论 语音 编码 。 
语音 线性 预测 编码 利用 了 语音 产生 过 程 经 典 模型 的 特殊 性 质 。 图 3.14 是 这 个 模型 的 简 
化 框图 。 该 模型 假定 声音 产生 机 制 ( 即 激励 源 ) 可 与 智能 调制 声 道 滤波 器 线性 分 离 。 激 励 的 精 
确 模 型 依赖 于 语音 是 浊音 还 是 清音 。 具 体 如 下 : 
o 浊音 (比如 “eve” 中 的 /i/) 由 某 一 声 道 的 准 周期 激励 源 产生 (其 中 符号 /*/ 用 来 表示 作为 
基本 语言 单元 的 音素 )。 在 图 3.14 的 模型 中 ,脉冲 发 生 器 产生 一 个 脉冲 串 ( 非 常 短 的 肪 
OP) ,该 脉冲 串 被 基本 周期 分 割 成 基 音 周期 。 这 个 信号 依次 激励 一 个 线性 滤波 器 ,该 滤 
波 器 的 频 响 决定 了 声音 的 特性 。 
o 清音 (比如 “jish" 中 的 /P) 是 通过 声 道 收缩 引起 的 嘲 杂 气流 所 产生 的 随机 声音 获得 的 。 
在 这 第 二 种 情形 中 ,激励 由 一 个 简单 的 白 噪声 源 ( 宽 频谱 声 源 ) 构 成 。 噪 声 样 值 的 概率 
分 布 函数 并 不 十 分 重要 。 


不 论 是 浊音 还 是 清音 的 ,其 语音 信号 的 短 时 频谱 @ 由 信和 号 源 频谱 与 声 道 滤波 器 的 频率 响 





@” 短 时 频谱 ,或 者 更 确切 地 说 ,连续 时 间 信 号 x( 攻 的 短 时 傅 里 叶 变换 ,由 以 下 两 个 步骤 获得 :首先 ,以 时 间 :为 中 心 的 
窗口 函数 有 Ab 与 信号 «(RBA HS 
X(T) = x(r)h(r — t) 

它 是 一 个 两 变量 函数 ; 

- 感 兴趣 的 固定 时 间 # 

。 记 为 r 的 运行 时 间 
窗口 函数 h(i) 的 选择 原则 是 信号 x(4) 在 时 间 上 附近 基本 上 保持 不 变 , 但 是 离开 感 兴趣 时 间 的 信和 号 被 抑制 《Cohen， 
1995)。 于 是 , 信号 x( 六 的 短 时 傅 里 叶 变换 定义 为 


xe) = 人 atr)exp(-jor)ar 
一 [ome 一 了 T) exp (一 rur)dr 


该 式 强化 了 信号 在 时 间 上 附近 的 频率 分 布 。 
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应 相 乘 获 得 。 不 论 信号 源 是 周期 脉冲 序列 还 是 白 噪 声 , 它 的 谱 包 络 都 是 平坦 的 。 因 此 ,语音 信 
号 的 短 时 频谱 包 络 是 由 声 道 滤波 器 的 频 响 决定 的 。 线 性 预测 编码 (LPC ,linear predictire coding) 
是 一 种 模型 相关 的 信 源 编码 形式 , 它 广泛 应 用 于 低 比特 率 (2.4 kb/s 或 者 更 低 ) 语 音信 号 的 数字 
表示 。LPC 还 为 产生 基本 语音 参数 的 准确 估计 提供 了 一 种 方法 。LPC 的 开发 依赖 于 图 3.14 
所 示 的 模型 ,在 该 模型 中 , 声 道 滤波 器 由 全 极点 传输 函数 表示 为 

C 


H(z2) = 
1+ Yaz (3.147) 
k=1 


AP 6 是 增益 系数 。 应 用 于 这 个 滤波 器 的 激励 形式 随 浊 音 和 清音 之 间 的 交换 而 改变 。 于 是 ， 
传输 函数 为 吾 (z) 的 滤波 器 由 脉冲 序列 激励 ,从 而 产生 浊音 或 者 用 来 产生 清音 的 白 噪 声 序 列 。 
在 这 个 应 用 中 ,数据 是 实数 ,从 而 滤波 器 系数 也 是 实数 的 。 

基 音 周 其 


脉冲 串 发 生 器 


声带 发 出 的 
(声音 ) 脉冲 


浊音 / 清音 转换 声 道 滤波 器 合成 语音 
Q 
白 噪 声 发 生 器 


图 3.14 语音 产生 过 程 的 简化 模型 

图 3.15 是 一 个 LPC 系统 的 框图 ,这 个 LPC 系统 可 用 于 通信 信道 上 语音 信号 的 数字 传送 或 
接收 。 发 送 器 首先 让 语音 信和 号 通过 一 个 窗口 (典型 的 值 是 10 ms ~ 30 ms), 以 便 获 取 一 段 处 理 
用 的 语音 样 值 。 这 个 窗口 应 当 足 够 短 以 便 使 声 道 形状 可 被 看 做 是 准 平稳 的 ,并 使 得 图 3.14 中 
语音 产生 模型 的 参数 在 窗口 持续 时 间 内 基本 上 被 看 做 是 常数 。 接 着 ,发 送 器 依次 分 析 输 入 的 
语音 信和 号 ,其 分 析 逐 块 进行 ,并 采用 两 种 运算 形式 :线性 预测 和 基 音 检测 。 最 后 ,为 了 方便 信和 号 
在 通信 信道 上 传输 ,需要 编码 下 列 参数 ， 

o 由 LPC 分 析 器 计算 得 到 的 系数 集 

o 基 音 周期 

o 增益 参数 

© 清音 /浊音 参数 


接收 器 在 信道 输出 端 进行 相反 的 操作 ,首先 是 对 输入 参数 进行 解码 ,然后 利用 图 3.14 的 
模型 和 上 述 参数 合成 语音 信号 ,使 其 听 起 来 像 是 原来 的 语音 信和 号。 









ie 
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去 信道 输入 





重建 语音 信和 号 





b) 接收 器 
图 3.15 LILPC 语音 编码 器 框图 


3.11.1 lakura-Saito 距离 测量 


在 使 用 语音 的 全 极点 模型 时 ,需要 考虑 两 个 不 同 的 问题 : 
1) 建 模 语 音信 号 谱 包 络 的 全 极点 滤波 器 的 可 应 用 性 。 
2) 用 来 估计 全 极点 滤波 器 的 方法 。 


如 果真 正 的 谱 包 络 只 有 极点 ,那么 全 极点 模型 就 是 正确 的 模型 。 相 反 ,如 果 谱 包 络 有 极点 和 零 
点 ,那么 全 极点 模型 就 不 是 正确 的 模型 。 但 是 不 管 怎样 ,全 极点 模型 在 大 多 数 情况 下 是 适用 的 。 

现在 假设 全 极点 模型 对 于 任何 我 们 试图 估计 的 谱 包 络 都 是 正确 的 。 如 果 语 音 是 非 浊 音 
的 ,那么 计算 全 极点 滤波 器 系数 的 通常 方法 (线性 预测 ) 将 会 产生 一 个 好 的 估计 。 相 反 地 ,如果 
语音 是 浊音 的 ,那么 随 着 基 音 频率 上 升 ,估计 的 劣化 ,计算 全 极点 滤波 器 系数 的 通常 方法 将 会 
产生 一 个 带 偏 差 的 估计 。 了 -Jaroudi 和 Makhoul(1991) 用 下 面 将 要 讨论 的 Itakura-Saito 距离 测量 
法 解决 了 这 个 问题 。 特 殊 地 ,如 果 初 始 语音 信号 的 谱 包 络 是 全 极点 的 ,而 且 语 音 是 浊音 的 ,El- 
Jaroudi 和 Makhoul 证 明了 恢复 真实 的 包 络 是 可 行 的 ,但 是 不 能 使 用 通常 基于 线性 预测 的 方法 。 

图 3.16 的 例子 说 明了 基于 周期 波形 的 标准 全 极点 模型 的 局 限 性 。 该 例子 的 技术 条 件 如 下 : 


1) 全 极点 滤波 器 的 阶 数 , M = 12 
2) 输入 信号 :在 每 个 周期 内 有 N = 32 个 样 点 的 周期 脉冲 序列 


图 中 的 实 线 是 原来 的 通过 所 有 频率 点 的 12 极点 谱 包 络 。 虚 线 包 络 是 周期 脉冲 串 经 线性 
预测 模型 计算 后 得 到 的 对 应 结果 。 该 图 表明 用 线性 预测 方法 计算 全 极点 模型 系数 是 失败 的 。 

这 里 所 列举 的 问题 ,其 来 源 可 追溯 到 选择 最 小 均 方 误差 作为 周期 波形 线性 预测 模型 判 则 。 
为 解决 该 问题 ,需要 为 从 离散 频谱 样 点 中 恢复 出 正确 谱 包 络 提供 基础 的 误差 判 则 。 达 到 这 个 
目标 的 一 个 准则 是 离散 型 Hakura-Saito 距离 测量 ?。 


”Iakura 和 Saito(1970) 最 先 指出 ,随机 过 程 频谱 包 络 估 计 的 基本 理论 可 以 建立 在 用 线性 预测 编码 的 最 大 似 然 函数 基 
础 上 。 他 们 提出 了 Ttakura-Saito 距离 测量 法 作为 自 回 归 过 程 抽 样 函数 语音 信号 频谱 匹配 的 误差 判决 准则 。 这 个 新 
的 误差 判决 准则 最 初 是 用 连续 谱 的 方式 表达 的 ,这 种 模型 适用 于 非 浊音 的 语音 。 随 后 ,MeAulay(1984) 实 现 了 适用 
于 具有 任意 模型 谱 的 周期 过 程 的 ltakura-Saito FERS. BEAT , El-Jaroudi 和 Makhoul(1991) 用 Itakura-Saito 距离 测 
量 法 的 离散 版 本 发 展 了 离散 的 全 极点 模型 ,这 个 模型 克服 了 浊音 的 语音 模型 中 线性 预测 的 不 足 。 
在 第 3.11 节 中 ,我 们 重点 讨论 了 Itakura-Saito 距离 测量 方法 的 离散 形式 。 误 差 判 决 准则 的 连续 形式 可 以 从 式 
(3.156) 的 对 数 似 然 函 数 L(a) 的 负数 得 出 。 特 殊 地 ,如 果 频 率 点 数 N 允许 接近 无 穷 大 ,那么 式 (3.156) 的 和 可 以 用 
积分 来 替代 。 最 终 形式 的 负数 确实 是 Itakura-Saito 距离 测量 法 的 连续 形式 。 
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图 3.16 线性 预测 谱 分 析 局 限 性 示例 。 实 线 是 原始 的 12 极点 的 
谱 包 络 。 虚 线 是 W = 30 时 谱 线 的 12 个 极点 线性 预测 模型 


为 了 导出 这 个 新 的 误差 判 则 ,考虑 一 个 周期 为 N 的 周期 序列 wu(n) 作 为 要 研究 的 实 值 平 
稳 随机 过 程 。 将 u(n) 展 成 健 里 叶 级 数 , 我 们 有 


1 N-1 . 
u(n) = W Ur exp (jno) n=0,1,...,N—1 (3.148) 
k=0 
其 中 w, =2rk/N, H 
N-1 
U, = X u exp(-jnw,) k=0,1,..,N-1 (3.149) 
n=0 


”也 就 是 说 :w(n) 和 Ui 形成 离散 健 里 叶 变 换 对 。 类 似 地 ,迟延 为 m 的 u(n) 的 自 相关 函数 展 成 
PERRA 


1 N-1 
r(m) = 5; 之 Sexp (jmo) m=0,1,...,N—1 (3.150) 
k=0 
其 中 
N-1 
Sx = Dr(m) exp(—jmox) k=0,1,...,N—-1 (3.151) 
m=0 


是 一 个 频谱 样 值 。 即 r(m) 和 8 也 形成 了 离散 傅 氏 变换 对 。 式 (3.149) 中 定义 的 复数 随机 变 
量 Uo, Ui，…, Un_1 是 彼此 不 相关 的 ,其 表达 式 如 下 (参见 第 1 章 习题 18) 
St 对 于 /= 
0 其 他 

有 了 随机 过 程 w( nm) 的 参数 模型 之 后 ,我 们 注意 到 ,w(n) 的 频谱 在 功能 上 一 般 依赖 于 一 组 
谱 参数 , 即 向 量 


E[U,U*] = | (3.152) 


148 自 适 应 滤波 器 原理 


a = [a,, az, .. ,ax 二 
其 中 1 是 模型 的 阶 数 。 我 们 所 关注 的 问题 是 用 观测 的 随机 变量 x(0),xz(1),…,x(N-1T) 中 
获得 的 统计 信息 来 估计 谱 参 数 向 量 a, 或 者 等 效 地 ,估计 复 随 机 变量 : Uo, 0,…, Unio WT 
这 样 的 估 值 ,可 采用 具有 若干 渐进 类 最 优 性 的 最 大 似 然 函 数 法 (Van Trees, 1968; Poor, 1988; 
McDonough & Whalen，1995)。( 最 大 似 然 水 数 估计 的 简介 请 参看 附录 Do) 
为 了 表达 这 个 估计 过 程 ,很 自然 需要 一 个 随机 过 程 u(n) 的 概率 模型 。 而 且 为 了 给 出 数 

学 上 易于 处 理 的 公式 ,我 们 假设 了 一 个 零 均值 的 高 斯 分 布 。 于 是 ,给 定 参 数 向 量 a, 根 据 式 
(3.152) 中 第 一 行 ,可 表示 随机 变量 U, 的 复 密度 概率 函数 为 (参见 第 1 章 习 题 18) 

folUela) = eg op (- ia) k=0,1,...,N-1 (3.153) 

mee T Saa) OPT SKa) oe ' 
这 里 ,为 了 强调 随机 过 程 对 向 量 参数 a 的 依存 关系 ,我们 用 S (a) 来 表示 随机 过 程 的 第 个 谱 
样 值 。 从 式 (3.152) 第 二 行 可 以 看 出 ,这 些 随 机 变量 是 互 不 相关 的 ,高 斯 假设 表明 它们 也 是 统 
计 独 立 的 。 从 而 ,给 定向 量 参数 a, 随 机 变量 ro ,UV +, Un_1 的 联合 概率 密度 函数 为 


fu (Uo, U.. xla) = Tiru. a) 
_ 1 AW 
7 H TSk(a) mp (- slay) 


根据 定义 ,用 1(a) 表 示 并 看 做 参数 向 量 a 函数 的 似 然 函数 与 式 (3.154) 中 联合 密度 函数 相同 。 
因此 ,我 们 有 


(3.154) 











ples VAN 
)- Tass x(- say) (3.155) 

为 了 简化 问题 ,我 们 采用 对 数 形式 ,并 把 对 数 似 然 函 数 表示 为 
L(a) = Ini(a) 
- -S(s 


此 处 ,我们 忽略 了 常数 - N In x, 因 为 它 与 问题 无 关 。 

对 于 无 约束 问题 ( 即 在 缺乏 参数 模型 的 情况 下 ) , 令 NN 个 未 知 参数 为 S,(k=0,1,…,N -1)。 
由 式 (3.156) 可 知 , S, 的 最 大 似 然 函 数 估计 为 | Ui |*。 从 而 ,使 用 式 (3.156) 中 S, = | U |, ARR 
得 对 数 似 然 函 数 的 最 大 值 


lal? 


(3.156) 





+In sa ) 


N- 
Lmax = -S (1 + In lu)? (3. 157) 


因此 ,向量 参数 a 的 差分 对 数 似 然 函 数 定 义 为 
Drs(a) = Lmax ~ L(a) 


- S( UP a (ue) _ 1) (3.158) 


0 \ Sx(a) Sx(a) 
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式 (3.158) 是 离散 形式 的 Tiakura-Saito 距离 测量 公式 (McAulay，1984); Ds (a) 中 的 下 标 表 
示 连 续 型 akura-Saito 距离 测量 的 发 明 者 。 注 意 , Ds (a) 总 是 非 负 的 ,而 且 仅 当 对 所 有 都 有 
S,(a) = | V, |° 时 ,Ds (a) 才 为 零 。 


3.11.2 离散 全 极点 模型 


给 定 一 组 离散 点 ,加 -Jaroudi 和 Makhoul(1991) 利 用 式 (3.158) 的 误差 准则 导出 了 谱 包 络 的 
一 个 参数 模型 。 这 个 新 模型 叫做 离散 全 极点 模型 。 该 模型 的 推导 基于 一 个 匹配 条 件 ,这 个 匹 
配 条 件 使 对 应 于 给 定 离散 谱 的 自 相关 函数 r(i) 与 对 应 于 全 极点 模型 的 自 相 关 函 数 7(i) 相 等 ， 
而 该 模型 是 在 与 给 定 谱 相 同 的 离散 频率 点 上 取样 得 到 的 。 这 一 匹配 条 件 ,导致 一 组 与 给 定 离 
散 谱 自 相关 函数 模型 参数 有 关 的 非 线性 方程 。 为 了 简化 这 个 非 线性 问题 的 求解 ,可 以 利用 如 
下 取样 的 全 极点 滤波 器 的 性 质 


TAG 一 k) = h(-i) ”对 所 有 i (3.159) 


在 式 (3.159) 中 a6=1, 且 





(3.160) 


h(-i) = N S|- ezp Cji) 
”人 E ae exp(-jømk) 


k=0 


A( -让 是 离散 频率 抽样 全 极点 滤波 器 的 时 间 翻 转 脉 冲 响 应 。 把 式 (3.159) 的 全 极点 特性 带 入 
最 小 化 条 件 
60Dis(a) 


一 一 一 二 0 WFk=1,2,...,M 
Oa, 


可 获得 与 给 定 自 相关 序列 全 极点 预测 器 系数 有 关 的 一 组 方程 
M 
D arli- k) =A(-i) OSI<M (3.161) 
k=0 


[从 式 (3.161) 导 出 式 (3.159) 的 过 程 可 参见 本 章 习题 30。] 

为 了 计算 全 极点 模型 参数 a ,k= 1,2,…, M,El-Jaroudi 和 Makhoul(1991) 提 出 如 下 两 步 迭 
代 算法 : 

e 给 定 一 个 模型 的 估 值 ,用 式 (3.160) 估 计 A- i)o 

e 给 定 新 的 估计 值 h( -i) ,对 模型 参数 的 新 估 值 ,求解 线性 方程 组 (3.161)。 


按照 El-Jaroudi 和 Makhoul 的 思想 ,该 模型 算法 收敛 于 惟一 的 全 局 极 小 点 。 令 人 感 兴 趣 地 
注意 到 ,这 个 算法 导致 图 3.16 所 示 问 题 正确 的 全 极点 包 络 。 一 般 说 来 ,El-Jaroudi-Makhoul 算法 
比 基 于 线性 预测 的 相应 解决 方案 偏差 较 小 。 

3.12 本 章 小 结 


给 定 一 组 物理 数据 ,线性 预测 构成 建 模 问题 的 基础 。 本 章 详细 探讨 了 与 广义 平稳 随机 过 
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程 相关 的 线性 预测 问题 。 特 别 地 ,我 们 用 维 纳 滤波 器 理论 研究 了 两 种 线性 预测 基本 模型 的 优 
化 方案 : 


© 前 向 线性 预测 在 该 方案 中 ,我 们 已 知 输入 序列 u(n 一 1),w(n-2),…,u(n -1), 目 的 
是 对 现时 刻 样 值 uw(n ) 做 出 最 优 预 测 。 

e 后 向 线性 预测 ;在 该 方案 中 ,我 们 已 知 输入 序列 ulan), ,uln-1), =, ul(n-M +1), HÉ) 
是 对 老 的 样 值 u(n - MW) 做 出 最 优 预测 。 


在 这 两 种 情况 下 ,期 望 响应 是 从 时 间 序 列 中 导出 的 。 在 前 向 线性 预测 中 , w( mn) 作为 期 户 
响应 ;而 在 反 向 线性 预测 中 ,wu(n - MM) 作为 期 望 响应 。 

预测 过 程 可 用 预测 器 来 描述 ,或 者 等 价 地 ,可 用 预测 误差 滤波 器 来 描述 。 这 两 个 线性 系统 
各 自 的 输出 相互 不 同 :前 向 预测 器 的 输出 是 其 输入 的 一 阶 预测 ;前 向 预测 误差 滤波 器 的 输出 是 
预测 误差 。 我 们 可 用 类 似 的 方法 区 分 后 向 预测 器 和 后 向 预测 误差 滤波 器 。 

构建 预测 误差 滤波 器 的 两 个 最 通用 的 方法 如 下 : 


o 横向 滤波 器 :需要 关注 的 问题 是 抽 头 权 值 的 确定 。 
© 格 型 滤波 器 :需要 关注 的 问题 是 反射 系数 的 确定 。 


这 两 组 参数 实际 上 相互 有 关 , 二 者 通过 列 文 森 - 杜 宾 递 推 相 关联 。 
预测 误差 滤波 器 的 重要 特性 可 以 总 结 如 下 : 


o 前 疝 预 测 误差 滤波 器 是 最 小 相位 的 ,这 意味 着 转移 函数 的 所 有 零点 位 于 z 平面 单位 圆 
内 。 对 应 的 道 滤波 器 ,由 于 表示 了 输入 过 程 的 自 回归 模型 ,因而 是 稳定 的 。 

9 后 向 预测 误差 滤波 器 是 最 大 相位 的 ,这 意味 着 转移 函数 的 所 有 有 零点 位 于 z 平面 单位 圆 
外 。 在 这 种 情况 下 , 逆 滤 波 器 是 不 稳定 的 ,因而 没有 实用 价值 。 

© 前 向 预测 误差 滤波 器 是 白化 滤波 器 ,而 后 向 预测 误差 滤波 器 是 反 因 果 白 化 滤波 器 (参见 
习题 14), 

格 型 预测 器 提供 了 一 些 人 们 十 分 期 望 的 特性 : 


© 阶 递 推 结构 ;这 意味 着 预测 阶 数 可 以 通过 增加 一 级 或 更 多 级 来 获得 ,而 不 需要 破坏 以 前 
的 计算 。 

e 模块 化 ;这 一 事实 的 示例 是 格 型 预测 器 的 所 有 级 都 有 完全 相同 的 物理 结构 。 

© 前 向 和 后 向 预测 误差 同时 计算 :这 极 大 地 提高 了 计算 效率 。 

© 各 级 间 统 计 解 耦 : 它 是 格 型 预测 器 不 同 级 产生 的 可 变 阶 后 向 预测 误差 不 相关 的 另外 一 
种 说 法 。 这 在 乔 利 斯 基 (Cholesky) 分 解 中 得 到 体现 。 这 个 特性 在 联合 估计 过 程 中 得 到 
使 用 ,其 中 ,后 向 预测 误差 用 来 提供 某 些 期 望 响 应 的 估计 。 


3.13 习题 
1， 前 向 预测 误差 滤波 器 的 增 广 维 纳 - 霍 夫 方程 (3.14) 首 先 由 均 方 误差 意义 上 优化 线性 预测 


滤波 器 导出 ,然后 合并 两 个 结果 :用 于 权 向 量 的 维 纳 - 霍 夫 方程 和 最 小 均 方 预测 误差 。 试 
通过 如 下 过 程 导 出 该 方程 : 
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(a) 把 前 向 预测 误差 均 方 值 的 表达 式 表示 为 前 向 预测 误差 滤波 器 的 抽 头 权 向 量 的 函数 。 

(b) 在 前 向 预测 误差 滤波 器 抽 头 权 向 量 第 一 个 元 素 恒 为 1 的 约束 下 使 均 方 预测 误差 最 小 。 
[提示 :使 用 拉 格 朗 日 乘 子 法 解决 约束 优化 问题 。 关 于 这 个 方法 的 细节 ,请 参看 附录 
C。 这 个 提示 同样 适用 于 习题 2(b)。] 


。 后 向 预测 误差 滤波 器 的 增 广 维 纳 - 霍 夫 方程 (3.38) 可 直接 从 本 书 第 3.2 节 导 出 。 试 通过 如 


下 过 程 导出 该 方程 : 

(a) 用 后 向 预测 误差 滤波 器 的 抽 头 权 向 量 来 表达 后 向 预测 误差 的 均 方 值 。 

(b) 在 后 向 预测 误差 滤波 器 抽 头 权 向 量 最 后 一 个 元 素 为 1 的 约束 下 使 均 方 预 测 误差 最 小 
化 。 
[提示 :参看 习题 1] 


: (a) 式 (3.24) 定 义 了 后 向 线性 预测 维 纳 - 霍 夫 方程 。 为 方便 计 , 该 方程 重 写 如 下 


Rw, = r?* 


其 中 ,ws 是 预测 器 的 抽 头 权 向 量 ,R 是 抽 头 输入 u(r), u(n-1),7,u(n- M41) WBE 
JERE, r” 是 这 些 抽 头 输入 与 期 望 响应 w(n - 好 ) 的 互相 关 和 矩阵 。 试 证 明 如 果 列 向 量 ra 的 
元 素 以 反 序 重 排 , 则 其 结果 将 把 维 纳 - 霍 夫 方程 修正 为 


RTIw8 = r* 


(b) 证 明 内 积 rw, 45 rw) 相等 。 


考虑 一 个 广义 随机 过 程 u(n), 其 自 相 关 函 数 在 不 同 的 迟延 下 ,有 如 下 值 


r(0) = 1 

r(1) = 0.8 
r(2) = 0.6 
r(3) = 0.4 


(a) 利用 列 文 森 - 杜 宾 递 推 计算 反射 系数 x ,x， 和 cea。 

(b) 利用 (a) 中 求 出 的 反射 系数 ,为 该 过 程 建立 一 个 三 级 格 型 预测 器 。 

Co) 计算 三 级 格 型 预测 器 每 级 输出 预测 误差 的 平均 功率 , 画 出 预测 误差 功率 对 预测 阶 数 的 
变化 图 ,并 对 结果 做 出 评价 。 

. 考虑 如 图 P3.1 所 描述 的 滤波 器 结构 ,其 中 时 延 A 是 大 于 1 的 整数 。 请 选择 权 向 量 w 使 得 

估计 误差 e(n) 均 方 值 最 小 。 求 w(n) 的 最 优 值 。 


u(n) 











FIR 滤波 器 w 


图 PB3.1 滤波 器 结构 图 


6. 


10. 
11. 
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考虑 由 如 下 一 阶 差分 方程 
u(n) = 0.9u(n — 1) + x(n) 


产生 的 平稳 自 回归 过 程 w(n) 的 线性 预测 。 其 中 ,v(n) 是 零 均值 方差 为 1 的 白 噪 声 。 
(a) 确定 前 向 预测 误差 滤波 器 抽 头 权 值 cx 和 2,20 

(b) 确定 相应 的 格 型 预测 器 的 反射 系数 cy 和 ez。 

(c) 对 (a) 和 (b) 结 果 做 出 评价 。 


。 (a) 一 个 过 程 w(n) 由 复 包 络 为 a、 角 频率 为 w IER RR RAY AE o 


的 加 性 白 噪 声 构 成 , 即 
u(n) = ae” + y(n) 
其 中 
Efla] = oz 


E[[p(n)/] = 02 


该 过 程 u(n) AF M 阶 线性 预测 器 ,并 在 均 方 误差 意义 上 将 其 最 优化 。 试 解 
答 如 下 问题 ; 
G) 计算 M 阶 预 测 误差 滤波 器 抽 头 权 值 以 及 最 终 预测 误差 功率 Py 。 
Gi) 计算 相应 的 格 型 预测 器 的 反射 系数 ci eo eyo 
Gi) 当 方 差 of? 趋 于 0 时 ,(i) 和 (这 的 结果 有 何 变动 。 
(b) 考虑 如 下 AR 过 程 


u(n) = -aeu (n — 1) + v(n) 


如 前 所 述 , 这 里 y(n) SRA 1 的 白 品 声 。 假 定 0< lal < 1, 但 又 非常 接近 
Flo MH w,(n) 应 用 于 一 个 M 阶 线性 预测 器 ,在 均 方 误差 意义 上 将 其 最 优化 。 
Gi) 计算 新 的 M 阶 预测 误差 滤波 器 的 抽 头 权 值 。 
Gi) 计算 对 应 的 格 型 预测 器 的 反射 系数 ci ,wa ,… eo 
(c) 使 用 由 (a) 和 (b) 所 得 到 的 结果 ,比较 wi(n) 和 wu,(n) 经 过 线性 预测 器 后 的 异同 之 处 。 


， 式 (3.40) 定 义 了 前 向 线性 预测 的 列 文 森 - 杜 宾 递 推 。 通 过 首先 重新 排列 抽 头 权 向 量 a, 的 


元 素 ,然后 取 其 复 共 恩 ,重新 表示 出 如 式 (3.42) 所 示 的 后 向 线性 预测 列 文 森 - 杜 宾 递 推 。 

从 式 (3.47) 的 定义 A。; 出 发 ,证 明 A。; 是 带 延 迟 的 后 向 预测 误差 5,_1(n - 1) 与 前 向 预测 
误差 上 六 ,(z) 的 互相 关 。 

详细 推演 Schur-Cohn 方法 与 式 (3.97) ~ 式 (3.100) 所 概括 的 反 向 回归 之 间 的 关系 。 
考虑 一 个 二 阶 自 回归 过 程 w(n) ,其 表达 式 如 下 


u(n) = u(n — 1) — OSu(n 一 2) + x(n) 


其 中 y(n) RWS HA 0.5 的 白 噪 声 过 程 。 


12. 


13. 


14. 


15. 
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(a) K u(n) 的 均值 。 

(b) 求 反 射 系数 c, 和 x,。 

(e) 求 平均 预测 误差 功率 P, 和 Pro 

利用 两 个 序列 {P。 ,x ,x21 与 17(0),r《1),7(2)1 之 间 的 一 一 对 应 关系 ,计算 对 应 于 上 题 中 
二 阶 自 回归 过 程 un) RAM e 和 x, AY BAER (1) AM (2). 

在 第 3.4 节 中 ,我 们 利用 罗 切 (Rouché) 定 理 导出 了 一 个 预测 误差 滤波 器 最 小 相位 特性 。 在 
本 题 中 ,我 们 探讨 这 个 性 质 的 另 一 种 推导 方法 一 一 基于 反 证 法 的 方法 。 考 虑 图 P3.2, 预测 
误差 滤波 器 (MM 阶 ) 表 示 为 两 个 功能 块 的 级 联 , 其 中 一 个 的 转移 函数 为 C;(z) , 另 一 个 的 转 
移 函 数 为 (1- zz )。 令 S(w) 表 示 用 做 预测 误差 滤波 器 输入 过 程 u(n) 的 功率 谱 密 度 。 
(a) 证 明 前 向 预测 误差 y(n ) 的 均 方 值 为 


e= f sonce) ?[1 — 2p, cos(w — w) + ldo 


其 中 Zi 二 pe ,并 计算 导数 ae/3p; 0 
(b) 假定 p > 1, 即 零点 位 于 单位 圆 之 外 。 证 明 : 在 该 条 件 下 ,ae/ap; > 0。 当 滤波 器 最 佳 工 
VER ,这样 的 条 件 可 能 吗 ? 根据 这 个 回答 ,能 得 出 什么 结论 ? 


P3.2 MM 阶 预测 误差 滤波 器 示例 


当 一 个 MM 阶 自 回 归 过 程 应 用 于 同 阶 的 前 向 误差 滤波 器 时 ,其 输出 包含 白 噪声 。 证 明 当 这 
个 过 程 用 于 M 阶 后 向 预测 误差 滤波 器 时 ,其 输出 由 白 虹 声 的 非 因 果实 现 组 成 。 
考虑 实 系数 为 gam, am,2，… ,am,n 的 前 向 预测 滤波 器 。 定 义 多 项 式 #6.《z) 如 下 


v Pr nlZ) = 7 + amz"! tee + anm 


其 中 已 是 m 阶 平 均 预 测 误差 功率 , z 是 单位 迟延 算 子 。[ 请 注意 $n (z) 的 定义 与 相应 的 
滤波 器 传输 函数 及 ,,(z) 之 间 的 差别 。] 滤波 器 系数 与 自 相关 序列 r"(0) ,r(1)，…r(m) 之 
闻 呈 现 一 一 对 应 关系 。 现 定义 


SG = Sox 
证 明 
1 


znj f dnlzrdulet)S(2) dz = 8 nk 


其 中 


3 = 1 k=m 
mk 0 kzm 


是 Kronecker-6 序列 ,路 径 % 是 单位 圆 。 多 项 式 $n 称 为 Szeg 多 项 式 ( 参 见 附 录 A)。 
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16. 零 均 值 广义 平稳 过 程 u(n M 阶 前 向 预测 误差 滤波 器 ,产生 输出 fy(n)。 相 同 的 过 程 
通过 相应 的 后 向 预测 误差 滤波 器 ,产生 输出 by (n)。 证 明 fy, (n) Al by (n) 具 有 完全 相同 
的 功率 谱 密 度 。 
17. (a) 构建 习题 11 中 二 阶 自 回归 过 程 uw(n) 的 两 级 格 型 预测 器 。 
(b) 给 定 白 噪声 y(n) ,构建 自 回归 过 程 x(z) 的 两 级 格 型 合成 器 。 并 将 结果 与 习题 11 中 
过 程 uw(n) 的 二 阶 差分 方程 比较 。 
18. 考虑 图 3.10 中 重组 的 多 级 格 型 滤波 器 。 利 用 第 3.4 节 中 预测 误差 滤波 器 的 性 质 3 和 性 质 _ 
4, 证 明 : 
(a) 从 输入 fa Cn) =v(n) 到 输出 w(n) 的 电路 构成 M 阶 全 极点 滤波 器 ,其 中 vn) E AR 
Fro 
(b) 从 输入 fu(n) 到 第 二 个 输出 by (n) 的 电路 构成 全 极点 滤波 器 。 
19. (a) 考虑 分 解 式 (3.114) 的 矩阵 乘积 LR, 其 中 工 为 式 (3.106) 定 义 的 (M+1) x (M+1) 下 三 
角 和 矩阵 ,而 R 是 (M+1) x (M+ WKH. OY ARERR, yu 是 矩阵 立 
的 第 m 行 .第 列 元 素 。 证 明 


其 中 Po 是 m 阶 预 测 误差 功率 。 
(b) 证 明和 矩阵 立 的 第 m 行 是 由 自 相 关 序 列 {r(0),r(1)，……r(mm)} 通 过 转移 函数 为 Ho(z)， 
有 ,1(z),… ,Hn(z) 的 后 向 预测 误差 滤波 器 获得 的 。 
(c) 假定 我 们 把 自 相关 序列 { r(0) ,7r(1),… Cm) | DIR] m 阶 格 型 预测 器 的 输入 端 。 证 明 
出 现在 m 时 刻 预测 器 低 行 (lower line) 各 点 上 的 变量 与 矩阵 YY 的 第 m 列 元 素 相 等 。 
(d) 在 上 题 条 件 下 ,证 明 m 时 刻 普 级 预测 器 下 部 输出 (lower output) 为 已 , ,而 在 m+ 1 时刻 
相同 级 上 部 输出 (upper output) 为 A; ;并 回答 两 个 输出 的 比值 与 第 m+ 1 级 的 反射 系 
和 
(e) 利用 (d) 的 结果 ,给 出 计算 自 相 关 序 列 的 反射 系数 序列 的 一 种 递归 算法 。 
20. 证 明 如 下 格 型 滤波 器 的 相关 特性 : 
(a) 
Elf,(njut(n —- k) =0 15k<m 
E{b,(n)u*(n - k) =0 O<k<m-1 


(b) 
El fn(n)u*(n)] = £[b,(n)u*(n - m)] = 


Elbnimyor(ny] = fa” 


21. 
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(d) 
Elfnln)fi(n — D] = Efn + Df] =0 1S m i 
m>i 
E|b,,(n)b¥(n — 1)) = Elb,(n + Dbž(n))=0 O0SISm-i-1 
m>i 
(e) 
. Pr m=i 
Elfa(n + m)fi(n + i)] = t mei 
E[b,,(n + m)b¥(n + i)| = P, mai 
(f) 
Elfino] = {em met 


联合 概率 密度 函数 的 随机 输入 向 量 aln) KIRA Shannon entropy ) 由 多 重 积分 定义 为 
H=- Trw In [fy(u)]du 


后 向 预测 误差 向 量 b(n) 与 a(n) 的 关系 由 式 (3.105) 的 Gram-Schmidt 算法 给 出 。 证 明 向 量 
b(z) 各 向量 n(n) 具 有 相同 的 炉 , 因 此 具有 相同 的 信息 量 。 


. 考虑 优化 m 级 格 型 预测 器 的 问题 ,其 代价 函数 为 


In{&m) = aE[|fa( mF] + (1 ~ Elioni] 
其 中 a 是 介 于 0 和 1 之 间 的 常数 ,f,(n) 和 b(n) 分 别 是 第 m 级 输出 的 前 向 和 后 向 预测 
误差 。 
(a) 证 明 J, 取 最 小 值 时 ,反射 系数 <c。 的 最 优 值 为 


7 E[By—1(n 一 1)f%-1(n)] 
(1 一 a)E[|fn—s(n)|'] + AE| by —1(n ~ DP] 


(b) 在 下 面 三 种 条 件 下 ,计算 K,.. (a) 





Km, ola) = 


(1 )a=1 
(2)a=2 
(3) a = 1/2 


注意 : 当 a =1 时 ,代价 函数 可 简化 为 
In(&m) = Elfan) ] 


我 们 把 这 个 准 测 叫做 前 向 方法 。 
当 a=0 时 ,代价 函数 可 简化 为 


Jalm) = Ellenin] 
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我 们 把 这 个 准 测 叫做 后 向 方法 。 
当 a= FR, fen, (a AREN Burg 公式 
2E[bm-i(n — 1)f%-1(n)] 
= 一 一 一 -一 m= 1,2,...,M 
El|fna(n)P + lp s(n — 1) 
23. Ec Ac Em 级 格 型 预测 器 反射 系数 上 的 最 优 值 , 分 别 利用 上 题 定 义 的 前 向 法 和 后 
向 法 ,证 明 如 下 问题 ， 
(a) 证 明 从 Burg 公式 获得 的 “。, 的 最 优 值 是 <Q A O 的 调和 均值 , 即 
2 1 1 


Km, Q 





(b) 利用 (a) 的 结果 证 明 
Ikmol <1 对 所 有 m 
(e) 对 于 使 用 Burg 公式 的 格 型 预测 器 ,证 明 在 m 级 输出 前 向 和 后 向 预测 误差 均 方 值 与 输 
人 均 方 值 的 关系 为 
E[n] = (1 = mol E[lfn—1(72))”] 
及 
El|Pm(”)[°] = (1 = [mol )E[Llbn a(n — I) 


24. 根据 第 3.3 节 的 列 文 森 - 杜 宾 算 法 ,m 级 格 型 预测 器 反射 系数 k,, 可 用 等 效 集 平均 形式 表示 
为 
Elbn_i(n 一 1)f*_1(n)] E[bn_i(n 一 1)f*-1(n)] 


E[|bn—i(n — DP] E[| fnm] 
Eļbn-i(n — 1)f%-1(n)] 
(E[lfn- (PIEL -= DP 
作为 一 个 结果 ,对 于 所 有 的 m, ley lo RARER, MERRE ec 的 估计 基于 有 限 
数据 时 ,只 有 最 后 这 个 公式 的 时 间 平 均 形式 才能 保证 对 于 所 有 的 m, | ur | <1。 试 证 明 上 


述 结论 的 正确 性 。 
25. 图 3.10 所 示 的 全 极点 、 全 通 格 型 滤波 器 要 求实 现 如 下 转移 函数 





Km 


z 


(1 — z/0.4)(1 + z/0.8) 
(a) 确定 该 滤波 器 的 反射 系数 cy 和 x,。 
(b) 确定 由 这 个 格 型 滤波 器 实现 的 全 通 转移 函数 。 

26. 在 第 3.9 节 中 ,我 们 将 全 极点 格 型 滤波 器 用 做 自 回归 过 程 的 发 生 器 。 该 滤波 器 也 可 以 有 效 
地 用 来 计算 相对 于 r(0) 归 一 化 的 自 相关 序列 r(1) ,r(2),…，,r(m)。 这 一 过 程 包括 将 格 型 
后 向 滤波 器 的 状态 ( 即 单位 时 延 元 素 ) 初 始 化 为 1,0,… ,0 并 允许 滤波 器 工作 在 零 输入 情况 





G(z) = 
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Fo BRE, 这 个 过 程 提 供 了 式 (3.67) 的 一 个 格 型 解释 。 它 使 得 自 相 关 序 列 {r(0)， 
r(1)，…r(M) 1 与 增 广 反射 系数 序列 | P。 ,x ,… ,kw| 有 关 。 证 明 最 终 阶 数 M 为 如 下 取 值 
时 上 述 过 程 的 正确 性 : 
(IM=1; (b)M=2; (c) M=3。 

27. 图 P3.13 的 联合 估计 处 理 器 使 用 后 向 预测 误差 作为 计算 期 望 响应 4(n) 估 值 的 基础 。 试 
解释 在 此 处 为 什么 使 用 后 向 预测 误差 ,而 不 是 前 向 预测 误差 。 

28. 图 P3.3 给 出 一 个 零 极点 格 型 滤波 器 的 模型 。 这 个 模型 是 一 个 如 图 3.10 所 示 的 扩展 型 的 
全 极点 、 全 通 格 型 滤波 器 。 该 图 实现 了 如 下 M 个 极点 、M 个 零点 的 转移 函数 

Tr — z/zi) 
G(z) = G 号 


TI T7 z/pi) 


其 中 Co 是 标量 因子 。 根 据 第 3.9 节 的 讨论 ,如 图 P3.3 的 格 型 滤波 器 可 以 通过 正确 地 选择 
反射 系数 ki ,x,,… ,ky 实现 G(z) 的 极点 : 

(a) 已 知 转移 函数 G(z) 的 极点 位 于 pi ,pa ,pw 给 出 求 相 应 反射 系数 值 的 步 又。 

(p) 给 定 C 和 转移 函数 G(z) 的 零点 位 置 ,给 出 计算 回归 系数 ho, hi, hw 的 步骤 。 
(c) 图 P3.3 所 示 的 结构 能 够 实现 一 个 非 最 小 相位 转移 函数 吗 ? 验证 你 的 答案 。 


(x) (让 


图 P3.3 ” 零 极点 格 型 滤波 器 模型 
29. 继续 习题 28 ,确定 图 P3.3 的 零 极 点 格 型 滤波 器 的 反射 系数 和 回归 系数 ,以 实现 如 下 传输 

















函数 
_ 10(1 + z/0.1)(1 + z/0.6) 7 10(1 + z + z?) 
(i) G2) = z040 + z/08) Gi) GZ) = 3/040 + 2/08) 
. _ 10(1 + z/0.6)(1 + z/1.5) 10(1 + z + 0.52”) 
Gii) G(z) = (1 — z/04)(1 + 2/08) (iv) G(z) = (1 — 2/0.4)(1 + z/0.8) 


30. 在 本 习题 中 ,我 们 通过 式 (3.161) 来 导出 式 (3.1$9) ,以 便 计 算 离散 全 极点 滤波 器 以 及 相关 
的 匹配 条 件 。 


(a) > 
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M 
Ate) = Sae 
k=0 


hijet” 


Mz 


Ae") = 


Il 
l 


对 于 w= won MEFA 
Hen) Ae) = 1 
出 发 ,推导 式 (3.159) 和 式 (3.160)。 


(b) 令 r(i) 表 示 对 应 于 给 定 离散 谱 的 自 相 关 函 数 ,并 记 7(i) 为 在 与 给 定 谱 相同 的 离散 频 
率 点 上 取样 的 全 极点 模型 的 自 相关 函数 。 同 时 令 


D(w) = |A”) 


= >\d, cos (wk) 
&=0 
其 中 
M 
dy = Da 
k=0 
且 
M-i 
d; = 2 Ý, apak 1<i<M 
k=0 
通过 置 


a 
os 2 9 对 于 i = 0,1,...,M 


其 中 Ds 表示 离散 型 Itakura-Saito 距离 测量 ,推导 相关 匹配 条 件 
Mi= rG)  WIO<i<M 


尽管 相关 匹配 条 件 提 供 了 对 Iakura-Saito 距离 测量 应 用 的 了 解 ,但 从 计算 的 观点 ,应 用 最 
小 化 条 件 (EI-Jaroudi & Makhoul, 1991) 


a 
PDs = 9 对 于 i =0,1,...,M 


将 更 加 有 用 。 当 式 (3.158) 中 的 Dela) e FR 
1 


M 
> ae 
k=) 


给 出 时 , 试 利用 它 表征 全 极点 模型 ,并 由 此 导出 式 (3.161)。 


Sx(a) = 2 
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本 章 通 过 描述 一 种 古老 的 最 优化 技术 即 最 速 下 降 法 (method of steepest descent) 来 研究 基于 
梯度 的 自 适应 方法 。 这 种 方法 是 理解 各 种 基于 梯度 的 自 适应 方法 的 基础 。 

最 速 下 降 法 可 用 反馈 系统 来 表示 ,滤波 器 的 计算 是 一 步 一 步 迭 代 进 行 的 。 从 这 个 意义 上 
讲 ,最 速 下 降 法 是 递归 的 。 把 这 种 方法 应 用 于 维 纳 (Wiener) 滤波 时 ,可 得 到 一 种 能 跟踪 信和 号 统 
计量 随时 间 变 化 的 算法 ,而 不 必 在 每 次 统计 量变 化 时 都 求解 维 纳 - 霍 夫 ( Wiener - Hopf) 方 程 。 
在 平稳 过 程 这 个 特殊 情况 下 ,给 定 任 意 初始 抽 头 权 向 量 ,问题 的 解 将 随 迭 代 次 数 的 增加 而 改 
善 。 值 得 一 提 的 重要 一 点 是 ,在 适当 条 件 下 ,上述 方 法 的 解 收 敛 于 维 纳 解 ( 即 集 平均 误差 曲面 
的 极 小 点 ) 而 不 需要 求 输 和 人 向量 相关 矩阵 的 逆 和 矩阵 。 


4.1 最 速 下 降 算法 的 基本 思想 


考虑 一 个 代价 函数 J(w) , 它 是 某 个 未 知 向 量 w 的 连续 可 微 函 数 。 孔 数 J(w) 将 w 的 元 素 
映射 为 实数 。 这 里 ,我们 要 寻找 一 个 最 优 解 w, ,使 它 满足 如 下 条 件 
J(w) <J(w) 对 所 有 Ww (4.1) 
这 也 是 无 约束 最 优化 的 数学 表示 。 
特别 适合 于 自 适 应 滤波 的 一 类 无 约束 最 优化 算法 基于 局 部 迭代 下 降 的 思想 : 
从 某 一 初始 猜想 w(0) 出 发 ,产生 一 系列 权 向 量 Ww(1),w(2),..., 使 得 代价 函数 J(w) 在 
算法 的 每 一 次 迭代 都 是 下 降 的 , 即 
J(w(n + 1)) < J(w(n)) (4.2) 
其 中 Ww(n) 是 权 向 量 的 过 去 值 ,而 w(n+1) 是 其 更 新 值 。 


el BRERA WMA HE w,( 这 里 之 所 以 说 "希望 ”, 是 因为 如 不 采取 特殊 的 预防 
措施 ,算法 有 可 能 发 散 )。 
迭代 下 降 的 一 种 简单 形式 是 最 速 下 降 法 (method of steepest descent) ,该 方法 是 沿 最 速 下 降 
方向 [ 负 梯 度 方 向 , 即 代价 函数 J(w) 的 梯度 向 量 YVJ(w) 的 反方 向 ] 连 续 调整 权 向 量 w。 为 方 
便 起 见 ,我 们 将 梯度 向 量 表示 为 
aJ(w) 
ow 


g = V/(w)= 





(4.3) 
因此 ,最 速 下 降 算 法 可 以 表示 为 
wn + 1) = w(n) 一 z ugn) (4.4) 


其 中 n 表示 迭代 进程 ,w 是 正常 数 , 称 为 步 长 参数 , 1/2 因子 的 引入 是 为 了 数学 上 处 理 方便 。 
EMA n 到 n+1 的 选 代 中 , 权 向 量 的 调整 量 为 


160 自 适 应 滤波 器 原理 


6w(n) = w(n + 1) — w(n) 


1 4.5 
= =z Hen) (4-5) 

为 了 证 明 最 速 下 降 算 法 满足 式 (4.2) ,在 w(n) 处 进行 一 阶 泰勒 (Taylor) 展 开 ,得 到 
I(w(n +1)) = J(w(n)) + g” (n)êw(n) (4.6) 


此 式 对 于 y 较 小 时 是 成 立 的 。 在 式 4.6 中 假设 w 为 复 值 向 量 , DR Eh wt SEA 
量 , 所 以 使 用 埃 尔 米 特 转 置 。 将 式 (4.5) 用 到 式 (4.6) 中 ,得 到 
H(w(n + 1)) = J(w(n)) = Z a bell? 


这 表明 当 / 为 正 数 时 , J(w(n+ D)) < J(w(n))。 因 此 , 随 着 n 的 增加 ,代价 函数 /Cn) 减 小 ; 
当 = am 时 ,代价 函数 趋 于 最 小 值 Ja。 


4.2 最 速 下 降 算 法 应 用 于 维 纳 滤波 器 


考虑 一 个 横向 滤波 器 ,其 抽 头 输入 为 ulna), uln-1), =, ulan 一 M+1), 对 应 的 抽 头 权 值 
为 wo《n),wi(n),…,wx-1(n)。 抽 头 输入 是 来 自 零 均值 相关 算 阵 为 R 的 广义 平稳 随机 过 程 
的 抽样 值 。 除 了 这 些 输入 外 ,滤波 器 还 要 一 个 期 望 相 应 4(n), 以 便 为 最 优 滤波 提供 一 个 参 
考 。 图 4.1 描 述 了 这 个 滤波 过 程 。 


u(n — 1) 





图 4.1 自 适 应 横向 滤波 器 的 结构 


在 时 刻 n 抽 头 输入 向 量 表示 为 u(n) ,滤波 器 输出 端 期 望 响 应 的 估计 值 为 (zlQL, ) ,其 中 
OL, 是 由 抽 头 输入 z(n),xz(z-1)，…xz-M+l) 所 张 成 的 空间 。 通 过 比较 期 望 响应 dln) 
及 其 估计 值 , 可 以 得 到 一 个 估计 误差 e(n), 即 
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e(n) = d(n) — d(n|U,) 
= d(n) — w"(n)u(n) 
i w" (n)u(n) eA wn) SARA un) WAR, o(n) E-BAY 
w(n) = [wo(n), w,(n),...,Wy_1(n) |” 
同样 , 抽 头 输入 向 量 u(m) 可 表示 为 
u(n) = [u(n),u(n — 1),..., (n — M + 1) 
如 果 抽 头 输入 向 量 u(n) 和 期 望 响应 d(m) 是 联合 平稳 的 ,此 时 均 方 误差 或 者 在 时 刻 n 的 
代价 函数 J(n) 是 抽 头 权 向 量 的 二 次 函数 ,于 是 可 以 得 到 [ 见 式 (2.50)] 
J(n) = 04 — w"(n)p — p"w(n) + w"(n)Rw(n) (4.8) 
其 中 ,o3 = 目标 函数 d(n) 的 方差 ， 
p= 抽 头 输入 向 量 u(n) 与 期 望 响应 d(n) 的 互相 关 向 量 ,及 
R = 抽 头 输入 向 量 u(n) 的 相关 和 矩阵 。 
由 第 2 章 可 知 ,梯度 向 量 可 写 为 


(4.7) 


ðJ (n) 4 _ at (n) 
aag(n) 7 aby(n) 
aJ (n) O 
Vi(n) = da,(n) ab, (n) 














: (4.9) 
| ad (n) .397(n) 
Loaw-i(n) © 7 abv-i(n) 
= —2p + 2Rw(n) 
PEPER J (n1? a, (MFI Ih, (M BIER IT J(z) 对 第 天 个 抽 头 权 值 
wi(n) 的 实 部 a(n) KERB b(n) 的 偏 导数 ,k=1,2,…,M -1。 对 最 速 下 降 算法 应 用 而 言 , 假 
设 式 (4.9) 中 相关 矩阵 R 和 互相 关 向 量 p 已 知 , 则 对 于 给 定 的 抽 头 权 向 量 w(n), 可 以 计算 出 
梯度 向 量 YJ(n)。 因 此 ,将 式 (4.9) 代 入 式 (4.4) ,可 得 更 新 的 抽 头 向 量 w(n+1) 为 
w(n + 1) = w(n) + lp — Rw(n)] n=0,1,2,... (4.10) 
它 描 述 了 维 纳 滤波 中 最 速 下 降 法 的 数学 表达 式 。 
根据 式 (4.10) ,在 时 刻 n+ 1 应 用 到 抽 头 权 向 量 的 调整 量 6w(n) 等 于 jy[p-Rw(n)]。 这 
个 调整 量 也 可 以 表示 成 抽 头 输入 向 量 a(n) 和 和 佑 计 误 差 e(n) 内 积 期 望 的 w 倍 ( 详 见习 题 7)。 
这 表明 可 以 用 一 组 互相 关 器 来 计算 抽 头 权 向 量 w(n) 的 校正 量 6w(n), 如 图 4.2 所 示 。 在 这 
幅 图 中 ,校正 向 量 6w(n) 可 用 wln), dw, (n),...,dwy_,(n) 表示 。 
”从 男 一 个 角度 ， 人 10) 的 最 速 下 降 法 看 做 一 个 反馈 模型 ， 如 图 4. 
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支 次 序 排 列 的 各 个 传递 系数 矩阵 的 乘积 。 最 后 ,符号 z 是 一 个 单位 时 延 符号 ,z…'I 是 代表 某 
一 迭代 循环 时 延 的 单位 时 延 分 支 的 传递 系数 矩阵 。 





w(n + 1) 


图 4.2 在 时 刻 ”计算 抽 头 权 向 量 各 元 素 的 互相 关 器 组 图 4.3 最 速 下 降 算法 的 信号 流 图 表示 


4.3 ”最速 下 降 算法 的 稳定 性 


因为 最 速 下 降 算 法 含有 反馈 ,如 图 4.3 的 模型 所 示 ,这 个 算法 就 有 不 稳定 的 可 能 性 。 由 图 
中 的 反馈 模型 可 以 看 出 ,该 算法 的 稳定 性 取决 于 两 个 因素 : (1) 步 长 参数 ; (2) 抽 头 输入 向 量 
uCzn) 的 相关 矩阵 及 。 这 两 个 参数 完全 决定 了 反馈 环 的 转移 函数 。 为 了 得 到 最 速 下 降 算 法 的 
稳定 性 条 件 , 我 们 研究 算法 的 自然 模型 (Widrow,1970)。 特 别 地 ,我 们 用 特征 值 和 特征 向 量 来 
RANTS 及 以 便 定义 抽 头 加 权 向 量 的 变换 形式 。 

在 开始 分 析 时 ,首先 定义 时 刻 n 的 加 权 误 差 向 量 
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e(n) = w, — w(n) (4.11) 
其 中 w, 是 由 维 纳 - 霍 夫 方程 (2.34) 定 义 的 抽 头 权 向 量 的 最 优 值 。 然 后 ,消去 式 (2.34) 与 式 
(4.10) 之 间 的 互相 关 向 量 p, 并 按照 加 权 误 差 向 量 ce(n) 重 写 该 结果 ,可 得 
e(n + 1) = (I -AR)e(n) l (4.12) 
这 里 工 为 单位 阵 。 式 (4.12) 可 由 图 4.4 的 反馈 模型 来 表示 。 此 图 再 一 次 强调 了 这 样 一 个 事 
实 ;最 速 下 降 算 法 的 稳定 性 取决 于 j 和 R。 





e(n + 1) e(n) 


图 4.4 基于 加 权 误 差 向 量 的 最 速 下 降 算 法 的 信号 流 图 


使 用 特征 值 分 解 ,可 将 相关 和 矩阵 R 表示 为 ( 见 附录 E) 
R = QAQ” (4.13) 
和 矩阵 Q PRAY TERE (unitary matrix), RA -ERE R 的 特征 值 相关 的 一 组 正 交 特征 向 量 
TEA ER. FR A 是 一 对 角 和 矩阵 ,而 且 具 有 和 矩阵 及 的 特征 值 作为 它 的 对 角 元 素 。 这 些 特征 
fH GA A Ans ,4w) 都 是 正 实数 。 每 一 个 特征 值 都 与 特征 向 量 或 矩阵 Q 的 列 有 关 。 将 式 
(4.13) 代 入 式 (4.12) ,得 


e(n + 1) = (I — pQAQ*)c(n) (4.14) 
LAR WA Q" ,并 利用 本 矩阵 Q 的 性 质 ( 即 Q* 等 于 Q- ) ,可 得 
Q#c(n + 1) = (I — pA)Q%e(n) (4.15) 
定义 
v(n) = Q@e(n 
a a (4.16) 
因此 ,我 们 可 以 用 变换 形式 重 写 式 (4.14) 为 
v(n + 1) = (I — pA)v(n) (4.17) 
Y(n) 的 初始 值 为 
v(0) = QH|w, — w(0)| (4.18) 


假设 初始 抽 头 加 权 向 量 为 零 , 则 式 (4.18) 变 为 
v(0) = Q”w, (4.19) 
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对 于 最 速 下 降 算法 的 第 个 自然 模式 ,我 们 有 

vln +1) = (1 — nA)v(n) k=1,2,...,M (4.20) 
其 中 A, 是 相关 和 矩阵 及 的 第 有 个 特征 值 。 式 (4.20) 可 用 图 4.5 所 示 的 标量 值 反馈 模型 来 表示 ， 
xz 表示 单位 时 延 。 很 明显 ,这 个 模型 的 结构 要 比 先前 图 4.3 的 矩阵 值 的 反馈 模型 简单 。 这 两 
个 模型 虽然 表现 形式 不 一 样 , 但 它们 是 等 效 的 。 





vln + 1) valn) 
图 4.5 最 速 下 降 算法 的 第 上 个 自然 模式 的 信号 流 图 


式 (4.20) 是 一 阶 齐 次 差分 方程 ,假设 w(z) 有 初始 值 (0) , 则 很 容易 得 到 它 的 解 为 
vln) = (1 — pà) v0)  k =1,2,...,M (4.21) 
由 于 相关 和 矩阵 及 的 所 有 特征 值 都 是 正 实数 , 故 响 应 v(n) 将 不 会 振荡 。 此 外 ,如 图 4.6 所 示 ， 
式 (4.21) 产 生 的 数 构成 一 个 公 比 为 1 - mx 的 几何 级 数 。 为 了 满足 最 速 下 降 算 法 的 稳定 性 或 
收敛 性 ,对 所 有 ,几何 级 数 的 公 比 的 值 应 小 于 1。 也 就 是 说 ,我 们 有 
~1<1-—pa, <1 对 所 有 kK 

则 随 着 迭代 次 数 n 趋 近 无 穷 时 ,最 速 下 降 算 法 的 所 有 自然 模式 将 消失 ,而 不 管 初始 条 件 怎么 
样 。 这 等 于 说 , 当选 代 次 数 n BATAN , 抽 头 加 权 向 量 w(n) 副 近 最 优 解 w,。 

由 于 相关 和 矩阵 R 的 所 有 特征 值 都 是 正 实 数 ,由 此 得 出 ,最 速 下 降 算 法 稳定 的 充分 和 必要 
条 件 是 步 长 因子 p 满足 不 等 式 





2 
O<yp< ~ (4.22) 


其 中 Xe 是 相关 矩阵 及 的 最 大 特征 值 。 





0 1 


2 3 4 5 
Akn 
图 4.6 最 速 下 降 算法 的 第 个 自然 模式 随时 间 变 化 情况 ( 设 1- pa, 小 于 1) 
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由 图 4.6 可见 ,假设 单位 时 间 就 是 一 个 迭代 循环 的 持续 时 间 , 而 且 选 择 可 用 时 间 常 数 mx 
使 得 
1 
1 一 pA, = exp(- +) 


则 = 的 指数 包 络 拟 合 几何 级 数 。 从 而 ,第 上 个 常数 可 按照 步 长 参数 wp 和 第 个 特征 值 表示 为 
-1 
In(1 — pa) 
t, 定义 了 第 下 个 自然 模式 w(m) 误 减 为 其 初始 值 w(0) 的 We 时 所 需要 的 迭代 次 数 ,这 里 e 是 
自然 对 数 的 底 。 对 于 慢 自 适应 的 特殊 情况 , 步 长 参数 y 很 小 , 则 
1 

NA 

现在 ,我们 可 以 表示 初始 抽 头 权 向 量 w(n) 的 瞬 态 特性 。 特 别 地 ,在 式 (4.16) 两 边 左 乘 以 
Q, EH QQ" = 工 的 特性 ,可 得 


w(n) = wo 一 Qv(n) 


Tk 


(4.23) 


Tk el (4.24) 


v,(n) 
= Wo 一 [q, q2., qu] vln) (4 25) 


vu(n) 
M 
一 Wo 一 È aveln) 


这 里 gsh gw ESA R 的 特征 值 4 A. ,hw 对 应 的 特征 向 量 ,第 有 次 自然 模式 
v, (n) BFR (4.21) EX. FR ( 4.21) RAR (4.25) ,第 i 个 抽 头 权 值 的 瞬 态 特性 可 表示 为 


N 
wn) = we S quv- way” i=1,2,...,M (4.26) 
k=1 


其 中 wu 是 第 ; MSR BUBB, qu Fk k MERGE RSS i 个 分 量 。 
式 (4.26) 表 明 ,最 速 下 降 算 法 中 每 一 个 抽 头 权 值 收 急于 指数 形式 (1 - pA)” 的 加 权 和 。 
达到 其 初始 值 的 1/e 时 每 一 项 所 需要 的 时 间 mx 由 式 (4.23) 给 出 。 然 而 ,整个 时 间 常 数 zc , 定 
义 为 衰落 到 其 初始 值 的 1/e 时 式 (4.26) 中 和 项 所 需要 的 时 间 ,不 能 用 类 似 于 式 (4.23) 的 简单 闭 
式 来 表示 。 不 过 ,除了 与 矩阵 R 的 最 小 特征 值 1 相对 应 的 模式 外 , 当 gsw (0) 为 零 ( 对 所 有 
1) 时 ,可 获得 最 低 收敛 速 率 ; 因此 , r。 的 上 界 可 定义 为 - Un(1- /Am)。 而 除了 与 矩阵 及 的 最 
大 特征 值 1 相对 应 的 模式 外 , 当 所 有 guw(0) 为 零 时 ,可 达到 最 高 收敛 速率 ;于 是 , r。 的 下 界 
可 定义 为 - Un(1- aw)。 因 此 ,最 速 下 降 算 法 中 任意 抽 头 权 值 的 时 间 常 数 r。 的 上 下 界定 
义 如 下 (Griffiths,1975) 
—1 -1 
In(1 = pam) < < In(1 — Amin) 


由 此 可 见 , 当 相关 和 矩阵 R 的 特征 值 分 布 很 广 ( 即 抽 头 输入 相关 和 矩阵 病态 ) 时 ,最 速 下 降 算法 的 
完成 时 间 受 到 最 小 特征 值 (或 最 小 模式 ) 的 限制 。 


(4.27) 
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4.3.1 均 方 误差 的 瞬 态 特性 


通过 观察 均 方 误差 J(n) 的 瞬 态 特性 ,可 以 进一步 深刻 了 解 最 速 下 降 算 法 的 运行 过 程 。 根 
据 式 (2.56) ,有 


J(n) = Jan + S adot (4.28) 
k=1 


其 中 J 是 最 小 均 方 误差 。 第 个 自然 模式 v,(n) 由 式 (4.21) 定 义 , 故 将 式 (4.21) 代 入 式 (4.28)， 
可 得 


M 
J(n) = Jain + Zad 一 pAr oO (4.29) 


其 中 v (0) n(n Me. SAKETE py 满足 式 (4.22)], 无 论 什么 初始 条 件 , 都 有 
lim 7(n) 一 Jimin (4.30) 
描述 迭代 次 数 n 与 均 方 误差 J(n) 关 系 的 曲线 称 为 学 习 曲 线 。 由 式 (4.29) 可 知 ,最 速 下 降 
算法 学 习 曲 线 由 一 组 指数 和 组 成 ,每 一 指数 对 应 算法 的 一 个 自然 模式 。 一 般 来 说 ,自然 模式 数 
等 于 抽 头 权 值 数 。 从 初始 值 J(0) 到 最 终 值 Join ,第 & 个 自然 模式 指数 衰减 的 时 间 常 数 为 
一 1 
Tk mse ~ 2ln(1 _ MA) (4.31) 
当 步 长 参数 u 较 小 时 ,时 间 常 数 近似 为 
1 
Dd; (4.32) 


式 (4.32) 表 明 , 步 长 参数 p 越 小 ,最 速 下 降 算法 中 每 一 个 自然 模式 的 衰减 速率 越 慢 。 


~ 
Tk,mse ~ 


4.4 示例 


在 这 个 示例 中 ,我 们 考察 最 速 下 降 算 法 用 于 预测 器 时 的 瞬 态 特性 ,该 预测 器 运行 在 实 值 自 
回归 (AR, autoregressive) 过 程 中 。 图 4.7 给 出 了 预测 器 的 结构 ,假设 它 包 含 两 个 抽 头 权 值 
wi(n) 和 w2《(n), 这 两 个 抽 头 权 值 对 迭代 次 数 n 的 依赖 性 突显 出 预测 器 的 瞬 态 特性 。AR 过 程 
u(n) 可 以 用 二 阶 差分 方程 描述 为 | 

u(n) + ayu(n — 1) + au(n — 2) = v(n) (4.33) 
其 中 抽样 值 ,(n) 来 自 零 均值 .方差 为 oo 的 白 噪 声 过 程 。 自 回归 参数 a 和 a, 的 选择 应 使 得 
如 下 特征 方程 
1+az!+az?=0 

的 根 为 复数 值 , 即 a? <4a,. a, 和 a, 的 特定 值 由 所 希望 的 特征 值 扩散 度 x (R) 来 决定 。 对 于 
特定 的 a, 和 ay, ABE v(n) 的 方差 o? 应 使 得 过 程 w(m) 具 有 方差 = 1。 
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a(nld,, -1) 





图 4.7 实数 输入 的 两 个 抽 头 预测 器 


计算 最 速 下 降 算法 瞬 态 特性 要 求 满足 如 下 条 件 : 

© 改变 特征 值 扩散 度 x (R) ,而 固定 步 长 参数 uo 

e 改变 步 长 参数 ,而 固定 特征 值 扩 散 度 x (R)。 
4.4.1 AR 过 程 的 特征 


因为 图 4.7 的 预测 器 有 两 个 抽 头 权 值 且 AR 过 程 w(m) 是 实数 值 的 , 故 抽 头 输入 相关 矩阵 
及 是 一 个 2x2 的 对 称 和 矩阵 , 即 
_ | (0) r(1) 
wa | 0 | 











JA (SLRS 1 BE) 
r(0) = o? 
和 
"(1) =~ 1 rat 
且 
_ /1+a, a 
ai = eave 
矩阵 R 的 两 个 特征 值 为 
a, 
à = ( 1+ -)e 
和 





Ay = (1 + 1+ zje 
因此 ,特征 值 扩 散 度 (假设 a, 为 负数 ) 为 


Al 1C— a, + ay 
R = — = — 一 
x( ) Àz 1+ ay + a 
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对 应 于 特征 值 4, 和 A, 的 特征 向 量 分 别 为 


它们 均 已 对 单位 长 度 归 一 化 。 
4.4.2 实验 1 变化 特征 值 扩 散 度 


在 这 个 实验 中 步 长 参数 wx 固定 为 0.3 ,我 们 对 表 4.1 的 四 组 AR 参数 进行 评估 。 
表 4.1 表征 二 阶 AR 建 模 问题 的 参数 值 小 结 








AR 参数 值 特征 值 特征 值 扩散 度 最 小 均 方 误差 
组 别 ay az ài Ar y= à1/à2 Jan = 07 
1 - 0.1950 0.95 1.1 0.9 1.22 0.0965 
2 - 0.9750 0.95 1.5 0.5 3 0.0731 
3 — 1.5955 0.95 1.818 0.182 10 0.0322 
4 - 1.9114 0.95 1.957 0.0198 100 0.0038 


对 给 定 的 一 组 参数 ,我 们 使 用 变换 的 抽 头 权 值 误差 v,(n) 相 对 于 v (mr) 的 二 维 图 来 显示 
最 速 下 降 算法 的 瞬 态 特性 。 特 别 地 ,利用 式 (4.21) ,得 


_ | a(n) 
vn) = | 
_ | (1 — uyv o | _ 
= eae n= 1,2,... 
为 了 计算 初始 值 v(0) ,我 们 使 用 式 (4.19) ,假设 抽 头 权 向 量 w(n) 的 初始 值 w(0) 为 零 。 这 个 公 


式 需 要 知道 最 优 抽 头 权 向 量 w, 的 信息 。 当 优化 图 4.7 的 两 个 抽 头 预测 器 时 ,将 式 (4.33) 的 二 
阶 AR 过 程 用 于 抽 头 输入 ,可 求 出 最 优 抽 头 权 向 量 


(4.34) 


及 最 小 均 方 误差 


因此 ,利用 式 (4.19), 可 得 初始 值 
_ v (0) 
v0) = to, | 
1 |11 1 一 01 
-十 [1 alla] (439) 
一 1 


a, 十 a, 
V2 a, — a 
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于 是 ,对 于 特定 的 参数 ,用 式 (4.35) 计 算出 初始 值 v(0) ,再 用 式 (4.34) 计 算 v(1),v(2),…, 并 连接 这 些 
随 着 n 变化 而 变化 的 点 , 即 得 特定 参数 集 情况 下 描述 最 速 下 降 算法 瞬 态 特性 的 轨迹 。 

在 v,(n) 相 对 于 w (nm) 的 二 维 图 中 ,推断 当 固定 的 n 时 式 (4.28) 所 表示 的 轨迹 是 很 有 益 
的 。 在 这 个 示例 中 ,由 式 (4.28) 得 到 

J(n) — Jain = MOn) + Av2(n) l (4.36) 

“4A, =A, E n 固定 时 , 式 (4.36) 表 示 一 个 圆 , 其 中 心 在 初始 点 ,半径 等 于 [J 了 (Cn) - Sein A 的 平 
Fk HPA 是 两 个 特征 值 的 共同 值 。 当 4 A Bn 固定 时 , 式 (4.36) 表 示 一 个 椭圆 ,其 长 轴 
为 [J(n) = Juin Ag 的 平方 根 , 短 轴 为 [TCn - Jain) 1A, 的 平方 根 , Ai > Aro 


情况 1: 特征 值 扩散 度 x (R)= 1.22 
在 表 4.1 的 第 一 组 参数 的 条 件 下 ,特征 值 扩散 度 x(R) =1.22。 也 就 是 说 ,特征 值 X FA, 
几乎 相等 。 将 这 些 参数 代入 式 (4.34) 和 式 (4.35), 可 得 n 变动 时 [v.(n),v,(n)j] 的 轨迹 ,如 图 
4.8(a) 所 示 。 在 式 (4.36) 中 使 用 同样 的 参数 ,可 得 对 应 于 n =0,1,2,3,4,5, J(n) 取 固 定 值 时 
的 近似 圆周 轨迹 。 
通过 描述 抽 头 权 值 w (n) ARF w,(n) 的 曲线 , 亦 可 得 到 最 速 下 降 算法 的 瞬 态 特性 。 特 
别 是 对 于 本 例 ,利用 式 (4.25) 可 得 抽 头 权 问 量 
w,(n) 
mln) = es 
_ = — (u(n) + w%(n))/V2 
一 42 一 (vi(n) 一 v(n))/ VZ 
应 用 式 (4.37) ,可 得 n 变动 时 [wi(n),w(n)] 的 轨迹 ,如 图 4.9(a) 所 示 。 这 里 已 经 包含 
了 对 应 于 n =0,1,2,3,4,5, J(n) 取 固 定 值 时 [wi(n),w(n)] 的 轨迹 。 要 注意 这 些 轨 迹 是 椭 
圆 ,而 不 同 于 图 4.8(a)。 


情况 2: 特征 值 扩散 度 x (R) =3 

在 表 4.1 的 第 二 组 参数 的 条 件 下 ,特征 值 扩 散 度 x(R) = 3, 将 这 些 参数 代入 式 (4.34) 和 式 
(4.35) 可 得 n 变动 时 [w (mn),vw(n)] 的 轨迹 ,如 图 4.8(b) 所 示 。 在 式 (4.36) 中 使 用 同样 的 参 
数 ,可 得 对 应 于 n =0,1,2,3,4,5, J(n) 取 固 定 值 时 的 椭圆 轨迹 。 注 意 , 对 于 这 组 参数 ,初始 值 
v2(0) 几 乎 为 零 , 因 此 初始 值 Y(0) 实 际 位 于 v1 轴 上 。 

当 n 作为 变动 参数 时 ,对 应 的 [wi (n),w(n)j 的 轨迹 如 图 4.9(b) 所 示 。 


情况 3: 特征 值 扩散 度 x (R) = 10 

在 此 条 件 下 ,将 这 些 参数 代入 式 (4.34) 和 式 (4.35) ,可 得 图 4.8(c) Blo, (n), 02 (n) JRE n 
变动 的 轨迹 。 在 式 (4.36) 中 使 用 同样 的 参数 , 可 得 对 应 于 n =0,1,2,3,4,5，J(n) 取 固定 值 时 
包括 在 该 图 中 的 椭圆 轨迹 。 当 n 作为 变动 参数 时 ,对 应 的 [wi(n),w2(n)] 的 轨迹 如 图 4.9(c) 
所 示 。 

情况 4: 特征 值 扩散 度 x(R) = 100 

对 于 这 种 情况 ,应 用 前 面 的 式 子 ,可 得 [v.(n),v(n)] 的 轨迹 如 图 4.8(d) 所 示 , 还 可 得 到 
J(n) 取 固定 值 时 的 椭圆 轨迹 ;而 [wi(n),w(n)] 的 相应 轨迹 如 图 4.9(d) 所 示 。 


(4.37) 
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图 4.8 最 速 下 降 算法 中 wm(z) 相 对 于 v.(n) 的 轨迹 图 
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图 4.8 最 速 下 降 算法 中 vw,(n) 相 对 于 w (=) 的 轨迹 图 ( 续 ) 
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图 4.9 最 速 下 降 算 法 中 wi (nn) 与 w.(n) 的 轨迹 图 
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图 4.9 最 速 下 降 算法 中 wo, (z) 与 w,(n) Pa (BE) 
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4.10 是 在 四 个 特征 值 扩散 分 别 为 1.22,3,10,100 的 情况 下 J(n)5 n 的 关系 图 。 从 图 
中 可 以 看 出 , 随 着 特征 值 扩 散 度 的 增加 (输入 过 程 更 加 相关 ), 最 小 均 方 误差 J., 减 小 。 这 个 观 
测 结果 也 表明 了 我 们 最 初 的 直觉 :输入 的 相关 性 越 强 ,预测 器 的 效果 就 越 好 。 
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图 4.10 最 速 下 降 法 的 学 习 曲 线 (变化 特征 值 扩 散 度 ,y=0.3) 


4.4.3 实验 2 变 步 长 参数 


在 这 个 试验 中 国定 特征 值 扩 散 度 x(R) = 10, 而 且 步 长 参数 jy 可 变 。 特 别 地 ,我 们 观察 yx 分 别 
为 0.3 和 1.0 时 最 速 下 降 算法 的 瞬 态 特性 。 对 应 的 变换 抽 头 加 权 误 差 v (nz) 与 w(m) 的 关系 分 别 如 
图 4.11(a) 和 图 4.11(b) 所 示 。 图 4.11(a) 中 的 结果 与 图 4.8(c) 相 同 。 注 意 , 根 据 式 (4.22), 步 长 参数 
的 关键 值 为 wm = 2/A a = 1.1, 稍 微 超出 了 图 4.11(b) 中 的 实际 值 y = 1。 

上 分 别 为 0.3 和 1.0 时 wi(n) 和 w,(n) 的 轨迹 如 图 4.12(a) 和 图 4.12(b) 所 示 。 这 里 再 一 
次 看 到 ,图 4.12(a) 的 结果 与 图 4.9(c) 相 同 。 


4.4.4 观测 结果 


根据 实验 1 和 实验 2, 我 们 可 以 得 到 如 下 观测 结果 : 


1) 对 于 固定 的 J(n), [v (n), v: (n) BË n 变动 的 轨迹 正 交 于 J(n) 固 定时 [vi(n),v,(n)] 
的 轨迹 。 这 也 适用 于 J(n) 固 定时 [wi(n),w2(n)] 的 轨迹 。 
2) 当 特 征 值 4| 与 4, 相等 时 ,[v1(n) ,v2.《(n)] 和 [wi(n),w(n)] 随 nn 变动 的 轨迹 是 一 条 


vn) 


vn) 
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图 4.11 最 速 下 降 算法 中 w(n) 与 v2.(n) 的 轨迹 图 (其 中 特征 值 扩散 度 x(R) = 1)0 
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(b) 步 长 参数 /天 1.0 的 欠 阻 尼 情 况 
图 4.12 最 速 下 降 算法 中 wi(n) 与 w,(n) 的 轨迹 图 (其 中 特征 值 扩散 度 x(R) = 10) 
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直线 ,这 个 情况 如 图 4.8(a) 图 或 4.9(a) 所 示 , 这 时 特征 值 4, A, 几乎 相等 。 

3) 当 变 换 的 抽 头 权 值 误差 向 量 v(n) 的 初始 值 v(0) 位 于 v 轴 或 vo. 轴 的 条 件 满足 时 ， 
[v (n) v (n) IBE n 变动 的 轨迹 是 一 条 直线 ,这 个 情况 如 图 4.8(b) 所 示 , 这 时 v (0) JL 
平 为 零 。 相 应 地 ,[ wi(n),w2(n)] 随 nn 变动 的 轨迹 也 是 一 条 直线 ,如 图 4.9(b) 所 示 。 

4) 除了 两 种 特殊 情况 :(1) 特 征 值 相等 ;(2) 正 确 选 择 初始 条 件 ,[v,(n),v,(n)] 随 nn 变动 
的 轨迹 沿 着 一 条 弯曲 的 路 径 ,如 图 4.8(c) 所 示 。 相 应 地 ,[ wi(n),w,(n)] 随 n 变动 的 
的 轨迹 也 是 一 条 弯曲 的 路 径 ,如 图 4.9(c) 所 示 。 当 特征 值 分 布 很 广 ( 即 输入 数据 相关 
性 很 强 ) 时 ,将 出 现 如 下 两 种 情况 : 
© 误差 性 能 曲面 具有 深谷 的 形状 。 

@ [Lv,(n),v(n)] 和 [wi(n),w(n)] 的 轨迹 显现 不 同 程度 的 弯曲 , 当 x CR) = 100 时 分 
别 如 图 4.8(d) 和 图 4.9(d) 所 示 。 


5) 当 两 个 特征 值 4, 和 4, 相等 或 初始 点 选择 合适 时 最 速 下 降 算法 收敛 最 快 。 在 这 种 情 
况 下 ,连接 点 "(0) ,>(1) ,2z(2),… 组 成 的 轨迹 是 一 条 直线 ,这 是 最 短路 径 。 

6) 对 于 固定 的 步 长 参数 w， 当 特征 值 扩散 度 增 大 ( 抽 头 输入 相关 和 矩阵 病态 加 剧 ) 时 ,对 于 固定 
的 J(n),n =0.12 [wz),z(n) 的 椭圆 轨迹 愈加 变 率 ( 即 短 轴 更 短 ) 和 拥挤 。 

D 当 步 长 参数 o 较 小 时 ,最 速 下 降 算法 的 瞬 态 性 能 是 过 阻尼 (overdamped) 的 , 即 连接 点 
Y(0) ,y(1),Y(2)… 所 组 成 的 轨迹 沿 着 一 条 连续 路 径 ; 当 步 长 参数 w 达到 最 大 值 
pu = 2/Awm 时 ,最 速 下 降 算 法 的 瞬 态 特性 是 欠 阻 尼 (underdamped) 的 , 即 轨 迹 显 现 振荡 
现象 。 依 据 v,(n) 和 vw,(n), 这 两 种 不 同形 式 的 瞬 态 特性 如 图 4.11(a) 和 图 4.11(b) 所 
示 。 而 依据 w(n) 和 w2(n) 的 相应 结果 则 如 图 4.12 所 示 。 


从 这 些 观 测 结果 可 见 : 最 速 下 降 算法 的 瞬 态 特性 对 步 长 参数 u 和 特征 值 扩散 度 增 大 的 变 
化 是 高 度 敏感 的 。 


4.5 作为 确定 性 搜索 法 的 最 速 下 降 算 法 


在 广义 平稳 随机 过 程 条 件 下 , 自 适 应 横向 滤波 器 误差 性 能 曲面 是 一 个 碗 状 ( 即 二 次 ) 曲 面 ， 
并 有 明显 的 极 小 点 。 最 速 下 降 算 法 提供 了 从 任意 初始 点 出 发 寻找 误差 性 能 曲面 极 小 点 的 局 部 
搜索 方法 。 最 速 下 降 算法 的 运行 ,取决 于 如 下 三 个 量 : 


@ 起 始点 ”由 抽 头 权 向 量 初始 值 w(0) 规 定 。 
® 梯度 向 量 ”位 于 误差 性 能 曲面 的 特殊 点 (例如 , 抽 头 权 向 量 的 特殊 值 ) ,并 由 互相 关 向 量 
p 和 相关 癌 量 矩阵 R 惟一 确定 。 
o 步 长 参数 ne 控制 模 向 滤波 器 抽 头 权 向 量 从 算法 的 某 一 次 迭代 到 下 一 次 迭代 的 增 量变 
化 。 为 了 保证 算法 稳定 性 ,y 必须 满足 式 (4.22)。 
一 旦 规定 了 这 三 个 量 ,最 速 下 降 算法 将 沿 着 多 维权 值 空间 独特 的 路 径 前 进 , 它 从 初始 点 
Ww(0) 出 发 ,终止 于 最 优 解 w。。 换 句 话 说 ,在 权 值 空间 中 最 速 下 降 算 法 是 一 种 确定 性 的 搜索 方 
法 。 这 已 被 第 4.4 节 的 实验 结果 所 证 明 。 在 理论 上 ,从 初始 点 w(0) 到 最 优 解 w, 需要 无 穷 多 


178 自 适 应 滤波 器 原理 


次 迭代 。 然 而 ,实际 上 ,为 了 获得 足够 接近 最 优 解 w, 的 抽 头 权 向 量 , 我 们 只 需要 对 横向 滤波 
响 进 行 了 有 限 次 算法 迭代 ,具体 迭代 次 数 可 由 设计 者 的 设计 目标 来 定 。 


4.6 ”最速 下 降 算法 的 优点 与 局 限 性 


最 速 下 降 算法 的 优点 在 于 它 的 简单 性 ,这 一 点 很 容易 从 式 (4.10) 看 出 。 然 而 ,正如 第 4.5 
节 所 指出 的 ,我 们 需要 大 量 的 和 迭代 ,才能 使 该 算法 收银 于 充分 接近 最 优 解 w。 的 点 。 这 个 性 能 
限制 是 由 于 最 速 下 降 算 法 是 以 围绕 当前 点 的 误差 性 能 曲面 的 线性 (一 阶 ) 近 似 为 基础 的 。 


4.6.1 牛顿 法 


为 了 克服 最 速 下 降 算法 的 局 限 性 ,可 围绕 当前 点 [ 记 为 w(n)] 进 行 误差 性 能 曲面 的 二 次 
(例如 二 阶 ) 副 近 。 为 此 ,在 w(n) 处 将 代价 函数 J(w) 展 成 二 阶 泰勒 级 数 


J(w) = J(w(n)) + (w — w(n))"g(n) + > (w — w(n))"H(n)(w — w(n)) (4.38) 


其 中 右上 和 角 的 五 表 示 埃 尔 米 特 转 置 , 向 量 











_ ðJ(w) 
g(a) = — wawt) (4.39) 
是 w(n) 处 计算 的 梯度 ,而 矩阵 
Hr = 92J(w) 
(n aw [wom (4.40) 





是 w(zn) 处 代价 疮 数 J Cw) HERE (Hessian) ERE. SRILA w(z) 处 J(w) 的 线性 逼近 是 式 (4.38) 
的 简化 形式 。 式 (4.38) 对 站 求 导 并 令 导 数 为 零 , 可 求 出 下 一 个 和 迭代 结果 ( 即 误差 性 能 曲面 的 更 
新 点 ) 为 
w(n + 1) = w(n) — H'g(n) (4.41) 
其 中 H (on) EREE HO) HAE., SER RR Le PERAK 
(修改 形式 的 牛顿 法 ,见习 题 15)。 
对 于 式 (4.8) 的 二 次 代价 函数 ,梯度 向 量 由 式 (4.9) 定 义 。 另 外 , 式 (4.9) 最 后 一 行 对 w(n) 
求 导 , 可 得 
H(n) = 2R (4.42) 
除了 标 度 因子 外 , 式 (4.8) 的 二 次 代价 函数 的 海 森 和 矩阵 等 于 抽 头 输入 向 量 u(n) 的 相关 和 矩阵 R。 
因此 ,将 式 (4.9) 和 式 (4.42) 代 人 式 (4.41) ,我 们 得 到 
w(n + 1) = w(n) 一 5 R(-2p + 2Rw(n)) 
_ Rp (4.43) 
= Wo 
式 (4.43) 表 明 , 牛 顿 法 可 以 从 该 (二 次 ) 误 差 曲 面 任 一 点 w(m) 经 一 次 迭代 即 达 最 优 解 w 。 然 而 性 
能 的 改善 需要 使 用 相关 和 矩阵 R 的 求 道 运算 ,这 也 是 为 什么 使 用 最 速 下 降 算 法 的 一 个 原因 。 
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从 以 上 讨论 可 得 如 下 结论 :如 果 计 算 的 简单 性 相对 重要 ,那么 在 广义 平稳 随机 过 程 中 ,人 
们 更 喜欢 采用 最 速 下 降 算 法 计算 横向 滤波 器 抽 头 权 向 量 ; 另 一 方面 ,如 果 收 敛 速率 是 人 们 感 兴 
趣 的 问题 , 则 牛顿 法 及 其 改进 型 是 首选 方案 。 


4.7 ARENA 


给 定 如 下 两 种 集 平 均 量 : 


© 抽 头 输入 向 量 的 相关 矩阵 。 

© 抽 头 输入 向 量 和 期 望 响 应 的 互相 关 向 量 。 
最 速 下 降 算法 提供 了 计算 维 纳 滤波 器 抽 头 权 向 量 的 简单 步骤。 最 速 下 降 算法 的 一 个 重要 特点 
是 存在 反馈 , 换 句 话说 ,这 个 算法 实际 上 是 递归 的 。 因 此 ,我 们 必须 特别 注意 算法 的 稳定 性 问 
题 ,而 稳定 性 受制 于 算法 反馈 环 中 的 两 个 参数 : 

© 步 长 大 小 参数 uo 

© 抽 头 输入 向 量 的 相关 矩阵 Ro 
特别 地 ,算法 稳定 性 的 充 要 条 件 具体 化 为 如 下 条 件 





O<u< 2 


max 


其 中 4 是 相关 矩阵 R 的 最 大 特征 值 。 
此 外 ,依赖 于 步 长 参数 o 的 值 ,最 速 下 降 算 法 的 瞬 态 响应 特性 呈现 如 下 三 种 形式 之 一 : 
e 欠 阻 尼 响 应 ,这 种 情况 下 抽 头 权 向 量 向 最 优 维 纳 解 通 近 时 的 轨迹 是 振荡 的 ; 当 w 较 大 
时 会 出 现 这 种 情况 。 
e 过 阻尼 响应 ,其 轨迹 不 呈现 振荡 特性 , 它 发 生 在 u 较 小 时 。 
© 临界 阻尼 响应 ,这 是 一 种 介 于 欠 阻 尼 与 过 阻尼 条 件 之 间 的 分 界 点 。 


遗憾 的 是 ,这 些 条 件 一 般 不 能 用 来 进行 精确 的 数学 分 析 ,而 通常 只 能 用 来 做 实验 评价 。 
4.8 习题 


1. 考 虑 维 纳 滤波 问题 ,其 有 关 参 数 如 下 : 抽 头 输入 向 量 u(r) ARE RR uln) 与 期 望 响 
应 d(n) 之 间 的 互相 关 向 量 p 分 别 为 


1 05 
R= [os 1 | 
0.5 
p= | 95 
(a) 寻找 步 长 参数 u 的 一 个 适当 的 值 ,使 得 基于 给 定 矩 阵 R 的 最 速 下 降 算 法 收敛 。 


(b) 使 用 (a) 中 得 到 的 值 ,确定 计算 抽 头 权 向 量 w(n) 的 wi(n) 和 w,(n) 元 素 时 的 递归 。 计 
算 时 假设 初始 值 为 
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w,(0) = w,(0) = 0 
(c) 当 m” 由 0 趋 近 于 无 限时 ,考察 步 长 参数 / 变化 对 抽 头 权 向 量 w(z) 的 影响 。 
2. 使 用 单个 抽 头 权 值 w 的 实 值 滤波 器 的 误差 性 能 [ 见 式 (2.50)j 定 义 为 
J = Jan + 1(0)(w — w) 
其 中 r(0) 是 抽 头 输入 wx(m) 在 零 延 迟 时 的 自 相 关 函 数 , J 是 最 小 均 方 误差 ,w, 是 抽 头 权 值 
w 最 优 维 纳 解 。 
(a) 确定 用 来 递归 计算 最 优 解 w, 的 最 速 下 降 算 法 的 步 长 参数 w 的 界 。 
(b) 确定 滤波 器 的 时 间 常 数 。 
(c) 画 出 滤波 器 的 学 习 曲 线 。 
3. 继 续 习 题 2, 做 如 下 事情 
(a) 根据 其 仅 有 的 自然 模式 v(n) 表 示 滤 波 器 的 学 习 曲 线 。 
(b) 计算 均 方 误 差 对 滤波 器 自然 模式 的 一 阶 导 数 。 
4. 从 估计 误差 的 公式 出 发 ,通过 如 下 公式 
e(n) = d(n) — wi (n)ualn) 
其 中 a(n) 是 目标 响应 ,u(n) 是 抽 头 输入 向 量 ,w(n) 是 横向 滤波 器 的 抽 头 权 向 量 , 证 明 瞬 态 
平方 误差 |1e(n)|? 梯度 为 
VJ(n) = —2u(n)d*(n) + 2u(n)u"(n)w(n) 
S. 在 这 个 习题 中 ,我 们 采用 另外 一 种 方法 来 推导 基于 式 (4.9) 的 调整 横向 滤波 器 抽 头 权 向 量 的 
最 速 下 降 算 法 。 正 定 和 矩阵 的 道 矩阵 可 展 成 级 数 形式 


R = DA 一 AR) 


其 中 工 是 单位 矩阵 ,x 是 正常 数 。 为 了 保证 级 数 收敛 ,常数 vo 应 当 在 如 下 区 间 
O<p< 二 
式 中 Xow 是 矩阵 R 的 最 大 特征 值 。 通 过 使 用 维 纳 - 霍 夫 方 程 中 相关 和 矩阵 之 闭 矩 阵 的 上 述 级 
数 展开 ,得 到 如 下 递归 关系 式 
w(n + 1) = w(n) + plp — Rw(n)| 
其 中 
win) = a D (1 AR) 
是 抽 头 权 向 量 维 纳 解 的 近似 。 
6. 当 步 长 参数 u 为 负 值 时 ,最 速 下 降 算法 将 不 稳定 。 试 证 明 这 个 结论 的 正确 性 。 
7. 在 最 速 下 降 算法 中 ,经 过 n+ 1 次 迭代 后 的 抽 头 权 向 量 的 校正 可 以 表达 为 
Sw(n + 1) = pElu(n)e*(n)| 
其 中 u(n) 是 抽 头 输入 向 量 ,e(n) 是 估计 误差 。 在 误差 性 能 曲面 极 小 点 处 ,这 个 调整 会 发 生 
什么 情况 ?根据 正 交 性 原理 ,讨论 这 个 答案 。 
8. 式 (4.29) 定 义 了 最 速 下 降 算 法 中 均 方 误差 J(n) 随 n 变化 的 瞬 态 特性 。 令 J(0) 和 J(%) 分 


10. 


11. 
. 三 阶 AR 过 程 的 预测 误差 滤波 器 用 差分 方程 描述 为 


13. 


14. 
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别 表 示 J(n) 的 初始 值 和 最 终 值 。 假 设 我 们 用 单一 指数 形式 
Japprox(n) = [7(0) ~ To0)]e™ + F(00) 
拟 合 该 瞬 态 特性 , 式 中 z 为 有 效 时 间 常 数 。 并 令 r 的 选择 满足 如 下 条 件 
Japprox(1) = 7(1) 
证 明 最 速 下 降 算 法 初始 收敛 率 (定义 为 r 的 倒数 ) 为 
1 gf HO = Heo) | 
7 J(1) ~ J(co) 


并 使 用 式 (4.29) ,找到 二 的 值 。 假 设 初始 值 w(0) 为 0, 步 长 参数 y 较 小 。 





. 考虑 一 阶 自 回归 (AR) 过 程 , 其 差分 方程 描述 为 


u(n) = —au(n — 1) + v(n) 
其 中 a 是 过 程 的 AR 参数 ,v(n) 是 零 均值 方差 为 of WARE, 
(a) 建立 一 个 一 阶 线性 预测 器 来 计算 参数 a。 特 别 地 ,使 用 最 速 下 降 算法 迭代 求解 参数 a 
的 维 纳 解 。 

(b) 画 出 这 个 习题 的 误差 性 能 曲线 ,并 根据 已 知 参数 标明 曲线 的 极 小 点 。 
(e) 步 长 参数 j 满足 什么 条 件 才能 保证 收敛 ? 并 证 明 你 的 结论 。 
二 阶 差分 方程 描述 的 AR 过 程 为 

u(n) = —0.5u(n — 1) + u(n — 2) + x(n) 
其 中 p(n) ASS AUTEN AR, SORTA ERE wu(n) 的 前 向 线性 
预测 器 的 最 优 权 向 量 。 试 求 能 保证 最 速 下 降 算 法 稳定 性 的 步 长 参数 w WH. 
对 于 二 阶 AR 过 程 w(n) 的 后 向 预测 器 ,重复 习题 10 的 计算 。 


u(n) = -0.5u(n — 1) ~ OSu(n — 2) + O0.5u(n — 3) + x(n) 
RP y(n) 为 零 均值 .单位 方差 的 白 噪 声 。 最 速 下 降 算法 用 来 迭代 计算 预测 误差 滤波 胡 的 
系数 向 量 。 
(a) 计算 AR 过 程 u(n) ORE R, 
(b) 计算 矩阵 R 的 特征 值 。 
(c) 计算 用 于 最 速 下 降 算法 的 步 长 参数 p 的 界 。 
考虑 一 阶 滑动 平均 (MA ,moving-average) 过 程 ,其 差分 方程 为 
uin) = v(n) — 02v(n — 1) 
其 中 v(n) 为 零 均值 单位 方差 的 白 噪声 。 将 MA 过 程 应 用 于 前 向 线性 预测 器 。 
(a) MA 过 程 u(n) 用 二 阶 AR 过 程 近 似 。 试 使 用 这 个 近似 ,讨论 迭代 计算 预测 器 权 向 量 的 


最 速 下 降 算法 的 步 长 参数 u 的 界 。 a 

(b) 重复 (a) 的 计算 ,此 处 u(n) 用 三 阶 AR 过 程 来 近似 。 Se 

Ce) 讨论 (a) 和 (b) 计 算 结果 的 不 同 特性 。 < 

(1,1) 阶 的 自 回归 滑动 平均 (ARMA) 过 程 的 差分 方程 描述 为 To 
u(n) = —0.5u(n — 1) + v(n) — 02v(n — 1) @ 


k 
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其 中 v(n) 为 零 均值 ,单位 方差 的 白 噪 声 。 过 程 uw(n) 应 用 于 预测 误差 滤波 器 。 为 了 计算 滤 
波 器 的 系数 向 量 ,ARMA 过 程 用 三 阶 AR 过 程 近 似 。 
(a) 确定 近似 的 AR 过 程 的 系数 ,进而 求 对 应 的 3 x 3 相关 和 矩阵 R, 
(b) 计算 (a) 中 得 到 的 相关 和 矩阵 R 的 特征 值 。 
(e) 确定 迭代 计算 预测 误差 滤波 器 系数 向 量 的 最 速 下 降 算法 中 的 步 长 参数 的 界 。 
15. 将 步 长 参数 u 引入 到 牛顿 方程 中 ,我 们 修改 式 (4.43) 为 
w(n + 1) = wn) + nuR(p — Rw(n)) 

= (1 — p)w(n) + AR 
并 遵循 类 似 于 第 4.3 节 最 速 下 降 算 法 所 描述 的 步骤 ,研究 牛顿 算法 的 瞬 态 特性 。 即 证 明 
(a) 牛顿 算法 的 瞬 态 特性 是 一 个 单一 的 指数 形式 ,其 时 间 常 数 r 定义 为 

(1 — p)* = ek 


(b) 3 jy 小 于 1 时 ,时 间 常 数 为 
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在 这 一 章 ,我 们 研究 一 种 广泛 使 用 的 算法 理论 ,该 算法 由 其 创始 人 Widrow 和 Hoff(1960) 命 
名 为 最 小 均 方 (LMS ,least-mean-square) 算 法 。LMS 算法 是 随机 梯度 算法 族 中 的 一 员 。 使 用 “ 随 
机 梯度 ”一 词 是 为 了 将 LMS 算法 与 最 速 下 降 算 法 区 别 开 来 。 该 算法 在 随机 输入 维 纳 滤波 器 递 
妇 计 算 中 使 用 确定 性 梯度 。LMS 算法 的 一 个 显著 特点 是 它 的 简单 性 。 此 外 , 它 不 需要 计算 有 
关 的 相关 函数 ,也 不 需要 和 矩阵 求 逆 运 算 。 事 实 上 , 正 是 因为 LMS 算法 的 简单 性 ,使 得 它 成 为 其 
他 线性 自 适应 滤波 算法 的 参照 标准 。 

本 章 内 容 还 包含 计算 机 实验 所 支持 的 LMS 算法 收敛 性 的 详细 分 析 。 下 面 我 们 从 回顾 
LMS 算法 的 结构 和 运算 入 手 研究 该 算法 。 


5.1 最 小 均 方 算法 的 结构 与 运算 概述 


LMS 算法 是 线性 自 适 应 滤波 算法 。 一 般 来 说 , 它 包含 两 个 基本 过 程 : 


1) 滤波 过 程 (filtering process) 包括 :(a) 计 算 线性 滤波 器 输出 对 输入 信号 的 响应 ;(b) 通 
过 比较 输出 结果 与 期 望 响应 产生 估计 误差 。 
2) 自 适 应 过 程 (adaptive process) ”根据 估计 误差 自动 调整 滤波 器 参数 。 


这 两 个 过 程 一 起 工作 组 成 一 个 反馈 环 ,如 图 5.1(a) 所 示 。 首 先 , 我 们 有 一 个 横向 滤波 器 (围绕 
它 构造 LMS 算法 ) ;该 部 件 的 作用 在 于 完成 滤波 过 程 。 其 次 ,我 们 有 一 个 对 横向 滤波 器 抽 头 权 
值 进行 自 适 应 控制 过 程 的 算法 , 即 图 中 标明 的 “ 自 适应 控制 算法 ”部 分 。 

横向 滤波 器 各 部 分 的 细节 如 图 5.1(b) 所 示 。 抽 头 输入 wu(n),u(n-1),…,u(n-M+1) 
为 M x1 抽 头 输入 向 量 u(z) 的 元 素 ,其 中 M -1 是 延迟 单元 的 个 数 ; 这 些 输入 张 成 一 个 多 维 
空间 (用 以 , 定义 )。 相 应 地 , 抽 头 权 值 wo(n) ,wy(n),…, ww-1(n) 为 有 x1 抽 头 权 向 量 w(n) 的 
元 素 。 通 过 LMS 算法 计算 这 个 向 量 所 得 的 值 表示 一 个 估计 , 当 迭 代 次 数 趋 近 无 穷 时 ,该 估计 
的 期 望 值 可 能 接近 维 纳 解 w, (对 于 广义 平稳 过 程 )。 

在 滤波 过 程 中 ,期 望 响 应 2(n) 与 抽 头 输入 向 量 u(n) 一 道 参与 处 理 。 在 这 种 情况 下 ,给 定 
一 个 输入 ,横向 滤波 器 产生 一 个 输出 dC nU, ) 作 为 期 望 响应 4(n) 的 估计 。 因 此 ,我 们 可 把 估 
计 误 差 e(m) 定 义 为 期 望 响 应 与 实际 滤波 器 输出 之 差 ,如 图 5.1(b) 所 示 。 佑 计 误差 e(m) 与 抽 
头 输入 向 量 u(n) 都 被 加 到 自 适 应 控制 部 分 ,因此 围绕 抽 头 权 值 的 反馈 环 是 闭环 的 。 

图 5.1(c) 表 示 自 适应 权 值 控制 机 制 的 详细 结构 。 特 别 地 ,首先 对 =0,1,...,M -2， 
M -1, 求 估计 误差 e(n) 与 抽 头 输入 u(n -〖) 的 内 积 。 所 得 结果 定义 了 校正 量 Cw;(n), 它 将 
在 第 n+ 1 次 迭代 中 应 用 于 wi(n)。 用 在 计算 中 所 用 的 标 度 因子 用 正 数 u 表示 , 称 为 步 长 参 
数 , 如 图 5.1(c) 所 示 。 

将 图 5.1(c) 所 示 LMS 算法 与 图 4.2 的 最 速 下 降 算 法 相 比 较 ,可 以 看 出 LMS 算法 使 用 
wu(n 一 上 )e” (上 ) 作 为 梯度 向 量 VJ(n) 的 第 个 元 素 的 估计 ,而 VJ(n) 体 现 了 最 速 下 降 算法 的 特点 。 
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u(n- M + 1) 


(b) 横向 滤波 器 结构 框图 
Swo(n) 





e*(n) 






6W y_2(n) 
u(n — M + 2) 


(c) 权 值 自 适应 控制 算法 模型 
图 5.1 自 适应 横向 滤波 器 结构 与 权 值 控制 算法 模型 


换 句 话说 ,图 5.1(c) 的 所 有 路 径 都 移 走 了 一 个 期 望 算 子 。 因 此 ,LMS 算法 中 每 个 抽 头 权 值 的 
帮 代 计算 都 不 可 避免 地 受到 梯度 噪声 的 影响 。 
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贯穿 本 章 ,我 们 假设 抽 头 输入 向 量 u(n) 和 期 望 响 应 d(z) 都 取 自 联合 广义 平稳 过 程 。 特 
别 地 ,期 望 响 应 4(n) 与 输入 向 量 u(n) 之 间 的 线性 关系 是 通过 回归 模型 建立 起 来 的 ,该 模型 参 
数 向 量 未 知 ,从 而 需要 自 适应 滤波 。 在 这 个 环境 下 ,由 第 4 章 可 知 ,最 速 下 降 算 法 根据 确定 性 
轨迹 沿 着 误差 性 能 曲面 计算 抽 头 权 向 量 w(n) ,最 后 终止 于 维 纳 解 w,。 男 一 方面 ,由 于 梯度 品 
声 的 存在 ,LMS 算法 的 表现 将 有 所 不 同 : 它 不 是 终止 于 维 纳 解 w, ,由 LMS 算法 得 到 的 抽 头 权 向 
量 w(z)[ 不 同 于 w(n)] 围 绕 误 差 性 能 曲面 极 小 点 随机 移动 。 后 面 我 们 将 看 到 , 当 pp 较 小 时 这 
种 运动 是 布朗 (Brownian) 运 动 的 一 种 形式 。 

前 面 我 们 已 经 指出 ,LMS 滤波 器 在 其 运行 过 程 中 包含 反馈 ,由 此 引发 稳定 性 问题 。 在 这 种 
情况 下 ,需要 一 种 有 意义 的 准则 , 即 


J(n) 一 J(50) 当 n 一 co 


其 中 J(n) 是 LMS 滤波 器 在 n 时 刻 所 产生 的 均 方 误差 ,其 最 终 值 J( % ) 是 一 个 常数 。 满 足 这 
种 要 求 的 算法 在 均 方 意义 上 是 稳定 的 。 为 了 使 LMS 算法 满足 这 个 要 求 , 步 长 参数 w 必须 满足 
与 输入 信号 谱 内 容 有 关 的 某 种 条 件 。 

最 终 值 J( % ) 与 维 纳 解 所 获得 的 Ju 之 差 称 为 额外 均 方 误 差 , 记 为 /..( %)。 这 种 差 值 表 
示 用 自 适应 (随机 ) 机 理 榨 制 LMS 滤波 器 中 抽 头 权 值 的 方法 取代 最 速 下 降 算法 中 的 确定 性 方 
法 所 付出 的 代价 。J。( %) 与 J 的 比值 称 为 失调 , 它 是 LMS 算法 得 到 的 稳 态 解 与 维 纳 解 相差 
程度 的 量度 。 然 而 ,应 该 认识 到 ,失调 是 处 于 设计 者 的 控制 之 下 。 特 别 是 ,围绕 抽 头 权 值 起 作 
用 的 反馈 环 很 像 一 个 低 通 滤波 器 ,其 “平均 ”时间 常数 与 步 长 参数 p 成 反比 。 因 此 ,通过 设置 
较 小 的 w, 自 适应 过 程 可 以 较 慢 地 进行 ,梯度 噪声 对 抽 头 权 值 的 影响 可 在 很 大 程度 上 滤 除 。 这 
亦 可 大 大 减少 失调 的 影响 。 

因此 ,我 们 可 以 说 LMS 算法 的 实现 是 简单 的 ,同时 通过 对 外 部 环境 的 自 适应 , 它 也 能 够 提 
供 很 高 的 性 能 。 然 而 ,为 了 应 用 这 种 滤波 器 ,应 该 特别 注意 步 长 因子 的 合适 选择 。 影 响 步 长 因 
子 选择 的 因素 将 在 第 5.4 节 介绍 。 然 而 ,首先 和 最 重要 的 是 要 导出 LMS 算法 。 下 一 节 , 我 们 
将 依赖 前 面 所 介绍 的 最 速 下 降 算法 知识 来 做 这 一 工作 。 


5.2 最 小 均 方 自 适 应 算法 


如 果 可 以 精确 测量 每 一 次 迭代 n 的 梯度 向 量 VJ(n) ,而 且 如 果 步 长 参数 合适 选取 , 则 
由 最 速 下 降 算法 获得 的 抽 头 权 向 量 将 会 收敛 于 维 纳 解 。 然 而 ,事实 上 梯度 向 量 的 精确 测量 是 
不 可 能 的 ,因为 它 需 要 知道 抽 头 输入 的 相关 矩阵 R 以 及 抽 头 输入 与 期 望 响 应 之 间 的 互相 关 向 
E p 的 先 验 知识 [ 见 式 (4.8)]。 因 此 , 当 该 算法 运行 在 未 知 环境 时 ,必须 根据 可 用 数据 估计 梯 
度 向 量 。 
为 了 推导 梯度 向 量 VJ(Cn) 的 估计 方法 ,最 明显 的 策略 是 将 相关 矩阵 R 和 抽 头 输入 与 期 望 
响应 之 闻 的 互相 关 向 量 p 的 估计 代入 式 (4.8)。 为 方便 起 见 , 重 写 如 下 
Vi(n) = —2p + 2Rw(n) (5.1) 


估计 器 的 最 简单 选择 是 使 用 基于 抽 头 输入 向 量 和 期 望 响 应 的 及 和 的 瞬 态 估计 , 分 别 定义 为 
R(n) = u(n)u"(n) (5.2) 
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和 
Pp(n) = u(n)d*(n) (5.3) 
因此 ,梯度 向 量 的 瞬 态 估计 为 
Vi(n) = —2u(n)d*(n) + 2u(n)u"(n)W(n) (5.4) 
一 般 说 来 ,这 个 估计 是 有 偏 估 计 , 因 为 抽 头 权 估 计 向 量 w(n) 是 一 个 依赖 于 抽 头 输入 向 量 ulna) 
的 随机 向 量 。 注 意 ,估计 AJ(n) 也 可 以 看 做 梯度 算 子 V 应 用 于 瞬 态 均 方 误差 1e(n)1( 见 第 4 
章 习 题 2)。 
将 式 (5.4) 的 估计 梯度 向 量 VJ(n) 的 代入 式 (4.7) 的 最 速 下 降 算法 ,可 得 一 个 新 的 更 新 抽 
头 向 量 的 递归 关系 式 
wn + 1) = W(n) + pu(n)[d*(n) - u4(n)W(n)| (5.5) 
这 里 ,我 们 使 用 了 一 个 带 帆 的 符号 来 表示 抽 头 权 向 量 ,以 区 别 于 最 速 下 降 算 法 得 到 的 结果 。 等 
效 地 ,可 用 三 个 基本 关系 形式 写 出 结果 如 下 : 


1) 滤 波 输出 
y(n) = w"(n)u(n) (5.6) 
2) 估 计 误 差 或 误差 信号 (交替 使 用 ) 
e(n) = d(n) — y(n) (5.7) 
3) 抽 头 权 向 量 的 自 适 应 
wn + 1) = W(n) + pu(n)e*(n) (5.8) 


式 (5.6) 和 式 (5.7) 定 义 了 估计 误差 e(n) ,其 计算 基于 抽 头 权 向 量 Ww(n) 的 当前 估计 。 注 意 , 式 
(5.8) 右 边 的 第 二 项 pu(n)e* (n) RET HANS w(nm) 的 当前 估计 的 调整 量 。 该 迭代 过 程 
从 某 一 初始 猜测 点 w(0) 开 始 。 

式 (5.6) ~ 式 (5.8) 所 描述 的 算法 是 自 适应 LMS 算法 的 复数 形式 了 D。 在 每 一 次 迭代 或 时 间 
更 新 中 ,这 个 算法 都 需要 u(n),d(n) 和 w(n) 最 近 值 的 知识 。LMS 算法 是 随机 梯度 算法 族 中 
一 员 。 特 别 是 当 LMS 算法 应 用 于 随机 输入 时 ,从 一 个 迭代 循环 到 下 一 循环 所 允许 的 方向 是 完 
全 随机 的 ,因此 不 能 把 允许 方向 看 做 由 纯 梯 度 方向 组 成 。 

图 5.2 给 出 了 反馈 模型 形式 的 LMS 算法 的 信号 流 图 表示 。 这 个 模型 很 像 描 述 最 速 下 降 
算法 的 图 4.3 的 反馈 模型 。 这 个 信号 流 图 清楚 地 说 明了 LMS 算法 的 简单 性 。 特 别 是 ,从 图 中 
我 们 可 以 发 现 ,LMS 算法 在 一 次 迭代 中 只 需要 2M + 1 复数 乘法 和 2M 复数 加 法 ,这 里 M EH 
适应 横向 滤波 器 中 抽 头 权 值 的 数目 。 换 句 话 说 ,计算 复杂 度 为 0(MM)。 

分 别 由 式 (5.2) 和 式 (5.3) 给 出 的 瞬 态 估计 R 和 p 均 有 较 大 的 变化 。 千 一 看 ,似乎 LMS 算 
法 性 能 并 不 很 好 ,因为 算法 使 用 瞬 态 估计 。 但 是 我 们 应 该 记 住 ,LMS 算法 在 性 质 上 是 迭代 的 ， 
而 且 在 自 适应 过 程 中 算法 自身 能 够 对 这 些 估 计 进 行 平均 。 





@ Widow 等 (1975b) 原 来 提出 的 LMS 算法 的 复数 形式 与 式 (5.6) ~ 式 (5.8) 所 描述 的 算法 形式 稍 有 不 同 。Widrow 及 其 
他 作者 的 推导 基于 相关 和 矩阵 的 如 下 定义 :及 = Elu" (n)u”(n)]。 相 反 , 式 (5.6) 到 式 (5.8) 所 描述 的 LMS 算法 则 基 
于 相关 和 矩阵 的 如 下 定义 :R= E[u(n)u*(n)]。 采 用 复 值 数据 相关 和 矩 阵 定 义 的 后 一 种 方式 是 实数 据 定义 的 自然 推 
广 。 
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5.2 LMS 算法 信号 流 图 表示 


5.2.1 LMS 算法 小 结 


在 表 5.1 中 ,我 们 给 出 LMS 算法 的 小 结 。 这 个 表 也 包括 对 步 长 因子 允许 值 的 限制 , 它 是 
保证 算法 收敛 所 必需 的 。 有 关 收 敛 必要 条 件 的 更 多 讨论 见 第 5.4 节 。 
表 5.1 LMS 算法 小 结 
参数 : 
M= 抽 头 数 ( 即 滤波 器 长 度 ) 
w= 步 长 参数 





O<p< ue 
其 中 Su 是 抽 头 输入 u(n) 的 功率 谱 密 度 的 最 大 值 ,而 滤波 器 长 度 M 为 中 到 大 
初始 化 : 


如 果 知 道 抽 头 权 向 量 w(n) 的 先 验 知识 , 则 用 它 来 选择 w(0) 的 适当 值 ;否则 令 w(0) =0 
数据 : 
@ 给 定 的 :ua(n) = 时 刻 Mx1 抽 头 输入 向 量 
=[u(n),u(n-1),...,u(n-M+1)]? 
d(n) = 时 刻 的 期 望 响应 

o 要 计算 的 :w(n+1) = n+1 时刻 抽 头 权 向 量 估 计 
计算 :对 n=0,1,2... ,计算 

e(n) = d(n) - w#(n)u(n) 


win +1) =w(n) + pu(n)e* (n) 


值得 指出 的 是 ,虽然 在 表 5.1 中 总 结 的 LMS 算法 推导 完全 基于 广义 平稳 随机 信号 ,但 这 
个 算法 也 可 应 用 于 如 下 情况 : 
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o 确定 性 环境 这 里 抽 头 输入 向 量 ukn) 和 期 望 响应 4a(n) 都 是 确定 性 信号 。 
e 非 平稳 环境 这 里 有 一 个 额外 的 要 求 , 即 环境 中 统计 变化 的 跟踪 , 详 见 第 14 章 。 


5.3 应 用 示例 

在 进一步 分 析 LMS 算法 收敛 性 之 前 ,了 解 这 个 重要 算法 的 通用 性 是 很 有 好 处 的 。 下 面 ， 
我 们 通过 介绍 LMS 算法 的 六 个 不 同 应 用 来 进行 这 一 工作 。 
5.3.1 应 用 之 一 :复数 LMS 算法 的 典型 模型 


式 (5.6) ~ 式 (5,8) 所 描述 的 LMS 算法 是 复数 形式 的 ,因为 输入 和 输出 以 及 抽 头 权 值 都 是 
复数 的 。 为 了 说 明 这 个 算法 的 复数 特点 ,我 们 使 用 复数 形式 将 数据 与 抽 头 权 值 表示 如 下 : 


抽 头 输入 向 量 


u(n) = u(n) + juo(n) (5.9) 
期 望 响 应 

d(n) = di(n) + jdo(n) (5.10) 
抽 头 权 向 量 

W(n) = Wi(n) + jwWo(n) (5.11) 
横向 滤波 器 输出 

y(n) = y(n) + jyo(n) (5.12) 
估计 误差 

e(n) = er + jeg(n) (5.13) 


式 中 , 右 下 角 的 1, © 分 别 表示 同 相 和 正 交 分 量 , 即 实 部 和 虚 部 。 在 式 (5.6) ~ 式 (5.8) 中 ,利用 
上 述 定 义 分 别 对 实 部 与 虚 部 进行 运算 ,可 得 


y(n) = W7(n)u,(n) — Won)uo(n) (5.14) 
yaln) = Wi(n)ug(n) + Wo(n)u(n) (5.15) 
er(n) = di(n) — y,(n) (5.16) 
egln) = doln) — yaln) (5.17) 
W(n +1) = Wi(n) + wle(n)u,(n) ~ eg(n)ug(n)] (5.18) 
Wo(n + 1) = Wo(n) + ple(n)ug(n) + eg(n)u,(n)] (5.19) 


HU (5.14) ~ 式 (5.17) 定 义 了 误差 和 输出 信号 ,可 用 图 5.3(a) 所 示 的 交叉 耦合 的 信和 号 流 图 来 表 
示 。 同 样 , 式 (5.18) 和 式 (5.19) 可 用 图 5.3(b) 所 示 的 交叉 耦合 的 信号 流 图 来 表示 。 这 两 幅 图 
组 成 了 LMS 算法 的 典型 复数 模型 。 这 个 模型 清楚 地 说 明 ,一 个 复数 LMS 算法 等 效 于 一 组 它们 
之 间 具 有 交叉 耦合 的 四 个 实数 LMS 算法 。 

在 色散 信道 上 传输 二 进 制 数据 的 通信 系统 自 适 应 均衡 中 ,需要 复数 LMS 算法 的 典型 模 
型 。 为 了 便于 在 信道 上 传输 数据 ,应 采用 某 种 调制 形式 ,以 使 得 发 送信 和 号 的 频谱 落 在 信道 的 带 
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宽 之 内 。 此 外 ,为 了 使 频谱 有 效 ,要 使 用 诸如 四 相 脉 移 键 控 (QPSK) 或 M 进 制 正 交 调幅 (QAMD) 
等 调制 技术 ,这 里 信道 输出 的 基带 信号 是 复数 形式 ,这 是 使 用 复数 LMS 算法 的 原因 。 在 任何 
情况 下 ,信道 中 的 数据 传输 受制 于 下 面 两 个 因素 : 


e 符号 间 和 干扰 (ISI) 主要 由 信道 色散 引起 。 
@ 热 噪声 它 产 生 在 信道 输出 端 ( 即 接收 机 的 输入 端 )。 


对 于 带 限 信道 (如 语音 级 的 电话 信道 ) ,ISI 是 限制 数据 高 速 传输 的 主要 因素 。 自 适应 均衡 器 通 
常 放 在 接收 机 中 。 由 于 信道 输出 作为 激励 源 应 用 于 均衡 器 ,其 自由 参数 通过 LMS 算法 进行 调 
整 以 便 为 当前 传输 符号 提供 一 个 估计 。 在 接收 端 ,提供 期 望 响应 。 特 别 地 ,在 训练 模式 下 ,期 
望 响应 的 副本 存储 在 接收 机 中 。 自 然 地 ,这 个 存储 参考 信号 的 发 生 器 必须 与 数据 传输 之 前 发 
送 的 训练 序列 同步 。 广 泛 应 用 的 训练 序列 是 具有 像 噪声 那样 宽带 特性 的 伪 噪 声 (PN,pseud- 
onoise) 序 列 ;实际 上 , 它 是 一 种 周期 性 出 现 的 确定 性 信号 。PN 序列 借助 于 反馈 移 位 寄存 器 产 
生 , 它 由 大 量 受 单个 时 钟 控制 的 连贯 双 状 态 记 忆 级 ( 双 稳 态 触发 器 ) 组 成 。 由 记忆 级 输出 的 “ 模 
2 和 ”组 成 的 反馈 信号 ,用 于 移 位 寄存 器 的 第 一 级 ,以 防止 它 是 空 的 。 一 旦 训练 模式 完成 ,数据 
即 开始 在 信道 中 传输 。 为 了 使 自 适 应 均衡 器 能 够 在 信号 传输 时 跟踪 信道 的 统计 变化 ,均衡 器 
切换 到 面向 判决 的 模式 ,更 多 细节 参见 第 16 章 的 讲述 。 


d,(n) 


u(n) ee > y(n) 


uo(n) yo(n) 





doln) 
(a) 误差 和 输出 信号 


图 5.3 复数 LMS 算 法 的 典型 模型 流 图 表示 


190 自 适 应 滤波 器 原理 


en) 


E> h(n + 1) 


Won) 


E> Wo(n + 1) 





(b) 抽 头 权 值 更 新 方法 
图 5.3 复数 LMS 算 法 的 典型 信号 流 图 表示 ( 续 ) 


5.3.2 应 用 之 二 :处 理 时 变 地 震 数 据 的 自 适应 反 卷 积 


在 地 震 学 研究 中 ,我 们 经 常 考虑 到 地 球 分 层 模 型 。 为 了 收集 ( 即 记录 ) 地 震 数据 以 表征 这 
种 模型 并 由 此 揭示 地 球 表面 的 复杂 性 ,通常 使 用 反射 地 震 学 的 方法 。 这 包括 如 下 部 分 : 

o 地 震 能 量 源 ,其 典型 活动 在 地 球 表面 进行 。 

e 地 层 间 界面 的 地 震波 传播 。 

o 获得 并 记录 地 震波 的 返回 (地 质 界 面 地 震波 的 反射 ) , 它 携带 关于 地 球 内 部 的 结构 信息 。 
地 震 探 测 中 的 一 个 重要 问题 是 ,解释 来 自 不 同 地 层 返 回 的 地 震波 。 这 种 解释 是 辨识 不 同 地 这 
层 ( 如 岩石 层 、 砂 层 或 沉积 层 ) 的 基础 。 这 些 沉 积 层 是 人 们 特别 感 兴趣 的 ,因为 它 可 能 包含 碳 和 氨 
化 合 物 储 油层 。 地 球 分 层 模 型 的 思想 在 这 里 起 着 关键 作用 。 

图 5.4 给 出 分 层 地 球 的 抽 头 延迟 线 模 型 。 该 模型 表示 地 球 表面 传播 (散射 ) 现 象 的 局 部 参 
数 化 。 根 据 图 中 模型 ,输入 地 震波 s(n) 与 输出 地 震波 u(n) 之 间 的 卷 积 和 关系 为 


M-1 
u(n) = 2 wasn 一 无 ) 


这 里 假设 了 一 个 长 度 为 M - 1 的 模型 ,其 中 wo ,wi ，… ,ww-1 为 抽 头 权 值 序列 , 它 代 表 了 权 值 的 
空间 映射 或 传播 介质 的 脉冲 响应 。 要 解决 的 问题 可 表示 为 如 下 系统 辨识 问题 : 


给 定 地 震波 图 ， 即 地 震波 返回 的 记录 [如 wu(n)], 估计 介质 的 脉冲 响应 wo 
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图 5.4 分 层 地 球 延 抽 头 时 线 模型 


该 估计 ( 称 为 地 震 反 卷 积 ) 去 除了 s(n) 与 w 卷 积 的 影响 。 然 而 ,由 于 输入 地 震波 s(n) 实 
际 上 未 知 ,因此 这 个 问题 是 很 复杂 的 。 为 了 克服 这 个 困难 ,可 用 下 面 两 种 方法 : 
© 预测 反 卷 积 (predictive deconvolution)? ”之 所 以 这 样 称呼 乃 因 该 过 程 依赖 于 线性 预测 
理论 。 
e A BARC hid deconvolution) ” 它 考虑 了 反射 地 震 图 中 所 包含 的 有 价值 相位 信息 ,而 在 
预测 反 卷 积 中 忽略 了 该 信息 。 
在 这 一 节 ,我 们 描述 预测 反 卷 积 。 盲 反 卷 积 将 在 第 16 章 阅 述 。 在 这 两 种 方法 中 ,LMS 算 
法 都 起 着 重要 作用 。 
预测 反 卷 积 依据 以 下 两 个 假设 (Robinson & Durrani, 1986) : 
o 反馈 假设 ”把 ww 视 为 自 回 归 模 型 的 脉冲 响应 , 它 隐 含 分 层 地 球 模 型 是 最 小 相位 的 。 
@ 随机 假设 ”假设 反射 函数 ( 反 卷 积 的 结果 ) 具 有 白 噪 声 特性 ,至 少 在 某 些 选 通 时 间 内 。 
给 定 实 值 地 震波 图 u(n) ,我 们 可 使 用 实 值 LMS 算法 解 预测 反 卷 积 问题 ,其 步骤 如 下 : 
o 利用 MEAT w(n) 并 根据 数据 产生 一 个 预测 轨迹 , 即 
u(n + A) = W'(n)u(n) (5.20) 
其 中 
W(n) = [%(n), @(n),..., Wya(n) |” 
u(n) = [u(n), u(n — 1),... u(n — M + 1)] 
EH As1 是 预测 深度 (prediction depth) 3# +H HE IK (decorrelation delay) , 它 是 在 单位 抽 


样 周期 内 测量 的 。 
© 反 卷 积 后 的 轨迹 y(n) 定 义 为 输入 与 预测 样 值 之 差 , 即 


y(n) = u(n) — a(n) 


名” Schneider(1978,p.29) 给 出 了 对 预测 反 卷 积 的 评价 :过 去 15 年 来 ,统计 小 波 反 卷 积 的 工具 都 是 预测 反 卷 积 方法 , 它 假 
设 反射 函数 是 统计 上 白色 的 , 且 卷 积 小 波 是 最 小 相位 的 。 有 人 说 这 不 是 一 种 有 效 工 具 , 这 等 于 宣告 几 十 英里 的 地 
震 探 测 处 理 不 合适 ,也 是 对 根据 这 些 数据 探测 出 数 百 万 桶 石油 这 一 事实 的 否定 。 
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© 算 子 w(n) 的 更 新 值 为 
Wn +1) = W(n) + pluln + A) — &(n + A)lu(n) (5.21) 
式 (5.20) 和 式 (5.21) 组 成 了 基于 LMS 算法 的 自 适应 地 震 反 卷 积 算法 。 该 自 适 应 从 初始 
点 w(0) 开 始 进行 。 


5.3.3 应 用 之 三 : 瞬 态 频率 测量 


在 这 个 例子 中 ,我 们 研究 如 何以 LMS 算法 为 基础 对 快 变 功 率 谱 表征 的 罕 带 信号 频率 进行 
估计 。 为 此 ,首先 说 明 三 个 基本 思路 之 间 的 联系 :第 1 章 所 研究 的 描述 随机 过 程 的 自 回归 
(AR) 模 型 ;第 3 章 介绍 的 分 析 该 过 程 的 线性 预测 器 ,以 及 估计 AR 参数 的 LMS 算法 。 

所 谓 窄带 信号 指 的 是 ,与 信号 中 心 角 频 率 w. 相 比 ,其 带宽 Q 较 小 ,如 图 5.5 所 示 。 调 频 
(FM, frequency-modulated) 信 号 就 是 罕 带 信号 的 一 个 例子 ,只 要 其 载波 频率 足够 高 。 调 频 信 号 的 
瞬 态 频率 (定义 为 相位 对 时 间 的 导数 ) 随 着 调制 信号 线性 变化 。 考 虑 一 个 M 阶 时 变 AR 模型 
FERR RES x(m) ,其 差分 方程 为 (假设 为 实数 据 ) 


u(n) = -un — k) + x(n) (5.22) 


其 中 a;(n) 为 时 变 模 型 的 参数 ,y(n) 是 零 均值 方差 为 (nr) HAE, BARE uw(n) 的 时 
AR AR 功率 谱 为 [ 见 式 (3.101)] 
o;(n) 


M 
f + D anje ye 
E 


注意 ,极点 聚集 在 z 平面 单位 圆 附近 的 AR GERAR a S ER 





Sarlo; n) = 2 —NR< won 


(5.23) 





带宽 0 





0 频带 中 心 角 频率 


w, 


c 


图 5.5 根据 频谱 定义 的 窄带 信号 


为 了 估计 模型 参数 ,我 们 采用 M 阶 线性 预测 自 适应 横向 滤波 器 。 预 测 器 的 抽 头 权 值 表 示 
为 wi(n) ,k=1,2,…, 有 村 。 当 接收 到 输入 信号 时 ,连续 地 自 适应 调整 抽 头 权 值 。 特 别 地 ,可 用 
如 下 LMS 算法 自 适 应 调整 抽 头 权 值 
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O(n + 1) = Wiln) + RU — k)fy(n) k = 1,2,...,M (5.24) 
其 中 
M 
fu(n) = u(n) 一 (mun - k) (5.25) 
是 预测 误差 。 自 适应 预测 器 的 抽 头 权 值 与 AR 模型 参数 的 关系 为 
~w,(n) = 于 时 刻 a(n) 的 估 值 k=1,2,,M 


此 外 ,预测 误差 fr(n) 的 平均 功率 提供 了 对 噪声 方差 a?(n) 的 估计 。 我 们 感 兴趣 的 是 确 
定 窄带 信号 的 频率 ,因此 下 面 将 不 考虑 c* (nm) 的 估计 。 特 别 地 ,可 以 只 用 自 适 应 预测 器 的 抽 头 
权 值 来 定义 时 变频 率 函 数 
1 


M 2 
1 ~ $ ûne (5:26) 
k=1 





F(w;n) = 


给 定 wi (n) 与 w(n) 之 间 的 关系 ,我 们 看 到 , 式 (5.26) 中 频率 函数 F(w;n) 与 式 (5.23)AR 功率 
谱 Sa(wjn) 之 间 的 主要 差异 在 于 其 分 子 的 标 度 因子 。P(wj; mr ) 的 分 子 恒 为 1, M Sap(w3n) E 
一 个 等 于 of WEEKE Flon ÈT Sa(wj;m) 之 处 有 两 个 方面 :首先 , 式 (5.23) 中 罕 带 频 
谱 所 固有 的 不 确定 性 0/0 为 式 (5.26) 中 计算 上 易于 处 理 的 极限 1/0 所 替代 ;第 二 ,频率 函数 
F(w;n) 不 受 输入 信和 号 wu(n) 幅 度 变 化 的 影响 ,这 是 因为 FR(w;n) 的 峰值 直接 与 输入 信号 的 频 
谱 宽 度 有 关 。 

我 们 可 以 使 用 频率 函数 Fo; n) 测 量 调频 信号 wu(n) 的 瞬 态 频率 ,只 要 满足 如 下 假设 
( Griffiths , 1975) ; 


e 自 适应 预测 器 要 运行 足够 长 的 时 间 ,以 便 消 除 由 抽 头 权 值 初 始 化 所 引起 的 任何 过 渡 现 
象 。 

© 正确 选择 步 长 参数 w, 以 使 得 对 所 有 n 预测 误差 fy(n) 很 小 。 

© 在 从 时 间 (n - M) 到 时 间 (n - 1) 的 自 适 应 预测 器 抽样 范围 内 ,调制 信号 基本 不 变 。 


如 果 以 上 假设 成 立 , 则 频率 函数 F(w;m) 在 输入 信号 x(n) 的 瞬 态 频率 处 有 峰值 点 ,而且 LMS 
算法 可 以 跟踪 瞬 态 频率 随时 间 的 变化 。 . 


5.3.4 应 用 之 四 :应 用 于 正弦 干扰 的 自 适应 噪声 消除 


对 承载 信息 的 信号 造成 损害 的 正弦 干扰 进行 抑制 的 传统 方法 ,是 使 用 能 调整 干扰 频率 的 
固定 陷 波 器 。 为 了 设计 这 个 滤波 器 ,需要 知道 干扰 的 精确 频率 。 但 是 ,如 果 要 求 陷 波 器 非常 陡 
峭 , 而 受 干扰 的 正弦 信号 变化 很 慢 ,又 该 怎么 办 呢 ? 显然 ,这 是 一 个 需要 应 用 自 适应 方案 才能 
解决 的 问题 。 一 种 解决 方法 是 使 用 自 适应 噪声 消除 ,这 种 应 用 不 同 于 前 面 的 三 个 例子 ,因为 它 
并 不 是 基于 随机 激励 的 。 

图 5.6 给 出 两 输入 自 适应 噪声 消除 器 的 框图 。 基 本 输入 由 携带 信息 的 信号 和 互 不 相关 的 正 避 
干扰 组 成 ,而 参考 输入 ,为 相关 形式 的 正弦 干扰。 对 于 自 适 应 滤波 器 ,采用 基于 LMS 算法 进行 抽 头 
权 值 自 适应 的 横向 滤波 器 。 该 滤波 器 使 用 参考 输入 ,对 包含 在 基本 输入 端的 正弦 信号 进行 估计 。 


194 自 适 应 滤波 器 原理 


因此 ,从 基本 输入 中 减 去 自 适 应 滤波 器 输出 , 即 可 消除 正弦 噪声 的 影响 。 特 别 地 ,使 用 LMS 算法 的 
自 适 应 噪声 消除 器 有 如 下 两 个 重要 特征 (Widrow et al., 1976; Glover,1977): 
1) 消除 器 像 自 适应 陷 波 器 一 样 工 作 , 其 零 值 点 由 正弦 干扰 的 角 频 率 wo 决定 。 因 此 ,消除 
器 是 可 调 的 ,其 调谐 频率 随 wo 而 变 。 
2) 通过 选择 足够 小 的 w, 可 使 得 消除 器 频率 响应 的 陷 波 在 正弦 干扰 处 很 陡峭 。 
因此 ,与 普通 陷 波 器 不 同 ,我 们 可 以 控制 自 适 应 噪声 消除 器 的 频率 响应 





基本 输入 O 
d(n) 


系统 输出 


参考 输入 


u(n) 


自 适应 滤波 器 


图 5.6 自 适 应 噪声 消除 器 框图 


在 这 里 所 考虑 的 应 用 中 ,输入 数据 假设 是 实数 , 则 有 
© 对 于 基本 输入 
d(n) = s(n) + Aocos(won + po) (5.27) 
APF s(n) 是 承载 信息 的 信号 ,4。 是 正弦 干扰 的 幅度 , we 是 归 一 化 角 频率 ,$ 是 相位 。 
o 对 于 参考 输入 
u(n) = Acos(won + ¢) (5.28) 
式 中 幅度 4 和 相位 $ 为 不 同 于 基本 输入 的 物理 量 ,但 角 频 率 w。 是 一 样 的 。 


如 果 使 用 实数 形式 的 LMS 算法 , 则 抽 头 权 值 的 更 新 基于 如 下 等 式 


M-1 
y(n) = 2, il n)u(n — i) (5.29) 
e(n) = d(n) — y(n) (5.30) 

和 
Win +1) = wn) + pu(n ~ de(n) i=0,1,..,M—-1 (5.31) 


其 中 M 是 横向 滤波 器 的 长 度 ,常数 y 为 步 长 因子 。 为 表示 简单 起 见 , 假 设 LMS 算法 中 输入 数 
据 和 其 他 信号 的 抽样 周期 取 为 单位 时 间 。 这 个 假设 实际 上 贯穿 全 书 。 

用 正弦 激励 作为 感 兴趣 的 输入 ,重建 自 适 应 滤波 器 框图 ,如 图 5.7(a) 所 示 。 根 据 这 个 新 
的 表示 ,可 将 正 汞 输入 wu(n)、 横 向 滤波 器 和 LMS 算法 的 权 值 更 新 方程 组 合 为 一 个 单一 ( 开 环 ) 
的 系统 。 输 入 为 e(n)、 输 出 为 y(n) 的 自 适应 系统 随时 间 变 化 ,而 且 不 能 用 转移 函数 来 表示 。 
避 开 这 个 困难 ,可 得 如 下 结果 :由 于 z = e” Az, = em ,如 令 自 适应 系统 的 激励 为 e(n) = x , 则 
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输出 y(n) 包 含 三 个 分 量 :其 一 正比 于 z ,其 二 正比 于 x (z*?*)* ,其 三 正比 于 z*(z)。 第 一 个 
分 量 代表 转移 函数 为 G(z) 的 时 变 系 统 。 现 在 的 工作 是 寻找 C(z)。 

为 此 ,使 用 如 图 5.7(b) 所 示 的 LMS 算法 的 详细 信号 流 图 表示 (Glover,1977)。 在 这 个 框图 
中 ,我 们 对 第 i 个 抽 头 权 值 予 以 特别 的 关注 ,该 抽 头 输入 的 相应 值 为 
e(n) 






自 适 应 滤波 器 


一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -| 


转移 函数 C(z) 
-~----------~--_-------------------------------- 4 





(b) 对 第 i 个 抽 头 权 值 予以 特别 关注 的 自 适应 噪声 消除 信号 流 图 
图 5.7 自 适应 噪声 消除 器 及 其 信号 流 图 
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u(n — i) = A cos|wo( -i)+¢] 
= = [fours + eomte] (5.32) 
其 中 
p; = $ — woi l 
在 图 5.7(b) 中 ,输入 ulni) SARE eln). A,R u(n - ie(n) 做 zz 变换 并 
用 zf j] 表 示 该 运算 ,我 们 得 到 
z[u(n — i)e(n)] = £ el B(ce™) + Se MB (ze™) (5.33) 


其 中 Elze o ) 是 围绕 单位 圆 逆 时 针 旋 转 wo 角度 后 e(n) 的 变换 天 (z); 类 似 地 ,天 (ze ) Æ 
围绕 单位 圆 顺 时 针 旋 转 wo 后 的 变换 。 
其 次 ,对 式 (5.31) 进 行 z 变换 ,得 





zWi(z) = Wi(z) + pz[u(n — ie(n)] (5.34) 
其 中 OW, (2) FE wnh 变换。 对 育 (z) 求 解 方 程式 (5.34) 并 利用 式 (5.33) 的 z 变换 ,可 得 
We) = BA emE(ze mm) +e ME (ce) (5.35) 


下 面 回 到 定义 自 适 应 滤波 器 输出 网 29)。 将 式 (5.32) 代 信 式 (5.29) ,得 到 
y(n) = 4 S afne + @Hoont 
i=0 


对 上 式 z 变换 , 则 得 


L 


M- 
2) = A'S esi corm) + © (ce) (5.36) 


i 


于 是 ,将 式 ($,3$) 代 人 式 (5.36) ,可 得 Y(z) 的 表达 式 。 该 表达 式 包括 两 个 分 量 (Glover,1977) : 
1) 时 不 变 分 量 ,定义 为 





MA 
n lenta) 
它 与 相位 $, 无 关 , 因 此 也 与 时 间 下 标 i 无 关 。 
2) 与 相位 # 相关 从 而 与 时 间 ; 有 关 的 时 变 分 量 。 第 二 个 分 量 在 幅度 上 具有 标 度 因子 
sin{ Ma, 
ple, M) = SMe) 
对 于 给 定 的 角 频 率 wo ,假设 横向 滤波 器 中 抽 头 权 值 的 总 数 M 足够 大 ,以 满足 如 下 近似 
Bloo, M) — sin(Ma,) 


= 一 一 和 5.37 
M M sin wo 0 ( ) 


可 和 忽略 2 变换 的 时 变 部 分 ,从 而 Y(z) 仅 与 时 不 变 分 量 有 关 , 故 可 近似 为 


BMA 1 1 
ro ~ A on t ae) (5.38) 
Ze 一 1  zef*o — 1 
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于 是 , 开 环 转移 函数 [将 y(n) 与 e(n) 相 关 j] 为 








pMA ( 1 1 
RS - + - 
4 ze io — 1 zejm — 1 (5.39) 


pMA ( zcoswo—1 ) 
z? — 2zcosw, + 1 

该 转移 函数 C(z) 在 z = e* SLA EA RAA IEIRA ,而 在 z = 1/cosw 处 有 一 实数 
零点 ,如 图 $.8(a) 所 示 。 换 名 话说 , 自 适 应 品 声 消除 器 的 零 值 点 由 正弦 噪声 的 角 频 率 wo 决 
定 , 如 前 所 述 。 根 据 式 (5.39) ,可 将 C(z) 看 做 一 对 旋转 了 + wo 的 积分 器 。 事 实 上 , 由 图 5.7(b) 
可 见 ,输入 由 于 先 与 参考 正 汞 序列 wx(z”) 相 乘 再 在 零 频 处 积分 而 首先 频 移 了 + wo, 然 后 又 通过 
与 第 二 项 相 乘 移 回 原 处 。 整 个 运算 类 似 于 通信 中 一 项 众所周知 的 技术 , 即 涉及 结合 使 用 两 个 
低 通 滤 波 器 与 共振 频率 处 正弦 .余弦 外 差 来 获得 共振 滤波 器 的 技术 ( Wozencraft & Jacobs ,1965; 
Glover, 1977) 。 





Im{z] Im[z] 





(a) 对 于 开 环 转移 函数 G(z) (b) FAB BMW H (2) 
图 5.8 近似 零 极点 分 布 模式 
图 5.7(a) 的 模型 可 看 做 一 个 闭环 反馈 系统 ,其 闭环 转移 函数 H(z) 与 开 环 转移 函数 C(z) 
的 关系 为 E(2z) 
D(z) 


_ 1 
1+G(z) 


其 中 E(z) 是 系统 输出 e(n) 的 z 变换 ,D(z) 是 系统 输入 d(n) 的 z 变换 。 因 此 ,将 式 (5.39) 代 
人 式 ($.40) ,可 得 如 下 近似 结果 


A(z) = 





(5.40) 


z? — 2zcosw@) + 1 
— 2(1 - wMA’/4)z cosw + (1 — uMA?/2) 





A(z) ~ z2 (5.41) 


式 (5.41) 是 二 阶 数 字 陷 波 器 的 z 变换 ,其 陷 波 点 即 归 一 化 角 频 率 we。 五 (z) 的 零点 就 是 C(z) 


198 自 适 应 滤波 器 原理 


的 极点 , 即 它们 均 位 于 单位 圆 上 的 z = e* 六 处 。 对 于 较 小 的 步 长 参数 e ( 即 慢 收敛 速率 ) ,有 
uMA? 





< 1 
由 此 ,可 求 出 有 H(z) 的 极点 位 于 


MAN |. 
z7% (1 一 PME ) m (5.42) 


换 句 话说 ,及 ( z) 的 两 个 极点 位 于 单位 圆 内 ,半径 距离 大 约 为 局 引 - ,如 图 5.8(b) 所 示 。H(z) 的 


两 个 极点 位 于 单位 圆 内 ,这 意味 着 自 适应 噪声 消除 器 是 稳定 的 ,从 而 可 应 用 在 实际 中 。 
图 5.8(b) 也 包括 了 及 (x) 的 尘 功率 点 ,既然 有 (z) 的 零点 位 于 单位 贺 上 ,那么 理论 上 讲 自 
适应 噪声 消除 器 在 w = we 处 有 无 限 深 度 陷 波 点 。 陷 波 的 陡峭 度 由 五 (z) 的 极点 与 零点 接近 程 


度 决定 。3 dB 带宽 B 由 单位 圆 上 两 个 半 功 率 点 ( 即 极点 到 零点 距离 的 V2 售 ) 确 定 。 利 用 这 个 
几何 方法 ,可 求 出 自 适应 噪声 消除 器 的 3-dB IDEMA 


- 弧度 (5.43) 


因此 , 步 长 参数 u 越 小 ,B 越 小 ， P 这 也 证 明了 前 面 提 到 的 自 适 应 噪声 消除 器 的 特 
征 2。 至 此 , 自 适 应 噪声 消除 器 的 分 析 全 部 完成 。 


5.3.5 应 用 之 五 : 自 适应 谱 线 增强 


如 图 5.9 Bras , 自 适 应 谱 线 增强 器 (ALE, adaptive line enhancer) 是 一 个 可 用 来 检测 淹没 在 
宽带 噪声 环境 中 正 苞 信 号 的 系统 。 图 说 明 谱 线 增强 器 实际 上 是 自 适 应 噪声 消除 器 的 一 种 退 
化 形式 ,在 这 个 退化 形式 中 参考 信和 号 由 基本 (输入 ) 信 号 的 延迟 组 成 。 图 中 用 A 表示 的 延迟 ， 
称 为 ALE 的 预测 深度 或 解 相 关 时 延 , 它 以 抽样 周期 为 单元 来 衡量 。 参 考 信号 uw(n - 4) 由 横向 
滤波 器 处 理 以 便 产生 误差 信号 e(m) ,该 误差 定义 为 实际 输入 u(n) ALE 输出 y(n) = u(n) 
之 差 。 误 差 信 号 e(n) 依 次 用 来 激励 LMS 算法 以 便 调 整 滤波 器 的 M 个 抽 头 权 值 。 

考虑 一 个 由 淹没 在 宽带 噪声 u(n) HEIE 4Asin(won + 如) 组 成 的 输入 信和 号 y(n), 即 


u(n) = Asin(won + do) + v(n) (5.44) 
式 中 加 是 随机 相 移 ,vn) 为 零 均 值 方 差 为 多 的 噪声 。ALE 作为 信号 检测 器 基于 如 下 两 个 作 
FA (Treichler, 1979) : 
e 预测 深度 A 假设 大 到 足以 消除 原始 输入 信号 中 噪声 y(n) SBA SS PRR (0 - A) 
之 间 的 自 相 关 ,而 在 这 两 个 输入 正弦 分 量 之 间 引 人 相 移 woA。 


© 横向 滤波 器 的 抽 头 权 值 用 LMS 算法 进行 调整 ,以 使 得 误差 信号 的 均 方 误差 最 小 ,从 而 
补偿 未 知 相 移 woA。 








© ALE 起 源 于 Widow 等 (1975b) 的 工作 。 对 于 宽带 噪声 中 正弦 信号 检测 中 性 能 的 统计 分 析 , 可 参见 Zeidler (1978) 、 
Treichler( 1979) „ Rickard 和 Zeidler(1979) 的 有 关 文 献 。 关 于 ALE 的 综述 , 见 Zeidler(1990)。 信 和 号 带宽 的 影响 、 输 入 
SNR、 噪 声 相关 性 和 噪声 非 平 稳 性 在 Zeidler(1990) 的 论文 中 均 有 详细 讨论 。 
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这 两 个 作用 的 最 后 结果 是 产生 由 包含 在 零 均值 噪声 中 正弦 波 组 成 的 输出 信号 y(n)。 特 
别 地 , 当 wo 是 除 0 或 x 以 外 x/M 的 倍数 时 ,输出 信号 可 以 表示 为 (见习 题 4) 








y(n) = aA sin(won + p) + vouln) (5.45) 
sth ¢ 为 相 移 ,v,(n) 表 示 品 声 输 出 。 比 例 因 子 定义 为 
(M/2)SNR 
a (5.46) 


~ I+ (M/2)SNR 
其 中 M 为 横向 滤波 器 的 长 度 , 且 

A 

202 
表示 ALE 输入 端的 信 噪 比 。 根 据 式 (5.45),ALE 起 到 自 调 谐 滤波 器 的 作用 ,其 频率 响应 在 输 
ATE RRR AE wo 处 出 现 一 个 峰值 ,从 而 命名 为 “ 谱 线 增强 器 ”(spectral line enhancer 或 line 


enhancer) 。 


SNR = 





(5.47) 





图 $.9 自 适应 谱 线 增强 器 


Rickard 和 Zeidler(1979) 已 经 证 明 ,ALE 输出 的 y(n) 功 率 谱 密度 可 表示 为 


(5.48) 








ao? $ — cosM(w — w) 1+ cosM(w — oo) 
+ VE 

其 中 6(: ) 表 示 Dirac 8 函数 。 为 了 理解 式 (5.48) 的 组 成 ,首先 回忆 一 下 第 5.1 节 关 于 LMS 算法 
的 概述 :在 平稳 条 件 下 , 权 向 量 w(n) 的 均值 收敛 于 维 纳 解 w,(n)。 该 特性 合乎 逻辑 的 分 析 将 


1 ~ cos(w — wo) | "TOS 
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在 下 一 节 介 绍 。 现 在 可 以 有 把 握 地 说 ,收敛 权 向 量 的 稳 态 模型 由 维 纳 解 w, 和 零 均值 随机 分 
量 w,(n) 组 成 ,后 者 是 由 梯度 噪声 引起 的 并 与 慢 波动 并 行 起 作用 。 因 此 , ALE 可 表达 为 图 
5.10 所 示 的 模型 。 





图 5.10 自 适 应 线性 增强 的 模型 


考虑 到 ALE 输入 自身 包含 两 个 分 量 一 一 角 频 率 为 wo 的 正弦 分 量 和 零 均 值 方差 为 o 的 
宽带 噪声 分 量 v(n), 因 此 可 将 式 (5.48) 的 四 个 分 量 分 类 为 (Zeidler, 1990): 


© 角 频 率 为 w,、 平 均 功 率 为 xa”4”/2 WERDE, CRA w, 的 维 纳 滤波 器 处 理 输 
人 正弦 信号 的 结果 。 

© 角 频 率 为 wo 平均 功率 为 nyA o M2 的 正弦 分 量 , 它 是 权 向 量 为 wi,(n) 的 随机 滤波 器 
对 输入 正弦 信 叶 作用 的 结果 。 

9 方差 为 wk os1 的 宽带 噪声 , 它 是 随机 滤波 器 对 噪声 v(n) 作 用 的 结果 。 

© 经 中 心 为 wo 窄带 滤波 的 噪声 分 量 , 它 是 维 纳 滤波 器 对 噪声 v(n) 作 用 的 结果 。 


图 5.11 描述 了 这 四 个 分 量 。 由 此 可 知 ,ALE 输出 功率 谱 由 基准 窄带 滤波 噪声 为 中 心 的 正弦 信 
号 组 成 ,其 组 合 戏 人 在 宽带 噪声 背景 之 中 。 更 重要 的 是 , 当 ALE 输入 的 SNR 合适 时 ，ALE 输 
出 平均 意义 上 将 与 输入 的 正弦 分 量 近似 相等 ,从 而 只 要 一 个 简单 的 自 适 应 系统 就 能 检测 宽带 
噪声 中 的 正弦 信号 。 


5.3.6 应 用 之 六 : 自 适应 波束 形成 


在 最 后 一 个 例子 中 ,我 们 考虑 LMS 算法 的 一 个 空间 应 用 , 即 自 适应 波束 形成 。 为 此 ,我们 
重新 来 审视 一 下 第 2 章 讨论 维 纳 滤 波 器 理论 时 所 研究 的 广义 旁 斩 消除 器 (GSC, generalized side- 
lobe canceller) o 


E 5.12 是 CSC 的 框图 ,其 运行 隐 含 着 如 下 两 个 作用 的 结合 ， 


e 强加 线性 多 重 约束 ,用 来 保护 沿 着 感 兴趣 方向 人 射 的 信号 。 
o 根据 LMS 算法 调整 某 些 权 值 ,以 使 干扰 影响 和 波束 形成 器 输出 噪声 最 小 。 
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TA2a2 


w w — 


(a) 维 纳 滤波 器 对 输入 正弦 信号 作用 所 产生 的 分 量 


UTA?02M 


wo oe 
(b) 随机 滤波 器 对 输入 正弦 信号 作用 所 产生 的 分 量 


一 一 


(C) 随机 滤波 器 对 噪声 v(n) 作用 所 产生 的 宽带 噪声 





ao [1 — cosM(w— wp) 1- cos M(w + wp) 
| SoD Om 


1 — cos (w — wg) 1 — cos (w + wo) 






6n 4T 20 20 4n OT 
— 一 一 wy ay ~ — n+ 一 a + 一 
M M M M M 


(d) 维 纳 滤波 器 对 噪声 v(n) 作用 所 产生 的 窄带 滤波 噪声 
图 5.11 AIE 输 出 信号 功率 谱 密 度 的 四 个 基本 频谱 分 量 





wo 


自 适 应 
控制 机 制 
图 5.12 广义 旁 鸭 消除 器 的 框图 ` 


线性 多 重 约束 可 由 M x LAER C 来 描述 , 它 以 M x (M -上 ) 信 号 矩阵 块 C， AR BS 
阵 定义 为 dg 
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CiC=0 (5.49) 
在 GSC 中 ,线性 天 线 阵 元 的 权 向 量 可 表示 为 
w(n) = w — C,w,(n) (5.50) 
其 中 w。(n) 是 可 调整 权 向 量 ,w, 是 静止 权 向 量 。 后 者 可 根据 约束 向 量 C 定义 为 
w, = C(C4C)"g (5.51) 
式 中 g 是 预 给 的 增益 向 量 。 


e(n) = wi(n)u(n) 
= (w; ~ C,w,(n))"u(n) (5.52) 
= we u(n) ~ wi(n)C7u(n) 
总 之 ,静止 权 向 量 w, 影响 输入 向 量 u(n) 中 的 一 部 分 , 它 位 于 约束 向 量 C 的 列 所 张 成 的 子 空 
间 中 ;而 可 调 权 向 量 w。(n) 影 响 输入 向 量 n(n) 的 余下 部 分 , 它 位 于 信号 矩阵 块 C, 的 列 所 张 
成 的 互补 子 空间 中 。 注 意 , 式 (5.52) 中 的 e(n) 相 同 于 式 (2.107) 中 的 y(n)。 
根据 式 (5.52) ,内 积 wi a(n) 与 期 望 响 应 的 关系 为 
d(n) = wiu(n) 
通过 采取 相同 的 做 法 ,矩阵 积 C*u(n) 起 到 可 调 权 向 量 w, (n) 中 输入 向 量 的 作用 。 为 了 强调 
这 一 点 , 令 
x(n) = CHu(n) 
现在 ,我 们 准备 用 公式 表示 CSC 中 自 适应 调整 权 向 量 w,(n) 的 LMS 算法 。 具 体 来 说 , 即 
wa(n + 1) = wa(n) + px(n)e*(n) 
= wn) + Cr un) (we u(n) — wi(n)CH a(n)) (5.53) 
= wa(n) + nC ulna” (n)(w, ~ Cwaln)) 
其 中 j 为 步 长 参数 ,其 他 量 在 图 5.12 中 标明 。 


5.4 统计 LMS 理论 


前 面 ,我 们 将 LMS 滤波 器 称 为 线性 自 适应 滤波 器 。“ 线 性 ” 意 指 其 物理 实现 建立 在 线性 组 
合 器 的 基础 上 。 然 而 事实 上 ,LMS 滤波 器 是 高 度 复杂 的 非 线性 估计 器 , 它 违 反 了 迭 加 原理 和 齐 
次 性 (homogeneity)。 设 yı (nm ) 表 示 系 统 对 输入 向 量 uw (n) 的 响应 。 类 似 地 , y,(n) 表 示 系 统 对 
输入 向 量 中 (nm) 的 响应 。 对 于 一 个 线性 系统 ,组 合 输入 向 量 mu (n) + w (n) 一 定 导 致 等 于 
yi Ce) +yz(z) 的 响应 ;这 个 结果 叫做 释 加 原理 。 此 外 ,线性 系统 还 必须 满足 齐 次 性 特性 , 即 如 
F y(n) 表 示 系 统 对 输入 向 量 ua(z) 的 响应 , 则 系统 对 标 度 输入 向 量 au(n) 的 响应 一 定 为 
ay(n), 其 中 a 为 标 度 因子 。 现 在 考虑 LMS 滤波 器 。 从 初始 条 件 w(0) =0 开始 ,重复 应 用 权 
值 更 新 方程 式 (5.8) ,得 


W(n) = u D elil) 
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因此 ,LMS 滤波 器 的 输入 输出 关系 可 表示 为 


y(n) = #(n)u(n) 
= u $ elija” (i)u(n) 


考虑 到 误差 信号 e( 芭 与 输入 向 量 ua(i) 有 关 , 由 式 (5.54) 求 出 的 滤波 器 输出 y(n) 实 际 上 为 输 
人 向 量 u(n) 的 非 线性 函数 。 因 而 LMS 算法 违背 了 全 加 性 和 齐 次 性 特性 。 

因此 ,尽管 LMS 算法 在 物理 方面 很 简单 ,但 由 于 其 高 度 非 线 性 特性 ,其 数学 分 析 将 非常 复 
杂 。 虽 然 很 多 文献 在 分 析 LMS 滤波 器 方面 做 了 大 量 的 研究 ,但 还 没有 见 到 其 稳定 性 和 稳 态 性 
能 的 直接 数学 分 析 , 而 且 很 可 能 人 们 从 未 做 过 这 方面 的 工作 。 不 过 ,无 论 对 平稳 条 件 还 是 非 平 
稳 条 件 下 的 性 能 ,人 们 对 此 已 有 很 好 的 理解 ,这 为 能 够 用 来 设计 LMS 滤波 器 的 一 组 工作 准则 
提供 实际 基础 ,而 这 些 正 是 本 节 所 要 达到 的 目标 。 

在 进行 LMS 滤波 器 统计 分 析 时 ,我 们 发 现 用 权 值 误差 向 量 比 用 抽 头 权 值 本 身 将 更 加 方 
便 。 为 了 避免 与 第 4 章 最 速 下 降 算 法 研究 中 的 记号 混淆 ,这 里 将 LMS 滤波 器 的 权 值 误差 向 量 
定义 为 


(5.54) 


eln) = w 一 (n) (5.55) 
如 前 ,w。 表示 抽 头 权 向 量 的 最 优 维 纳 解 , 而 Ww(n) 表 示 LMS 滤波 器 在 第 n 次 迭代 中 得 到 的 估 
值 。 从 最 优 抽 头 权 向 量 w。 中 减 去 式 (5.5), 再 利用 式 (5.55) 的 定义 , 便 可 从 式 (5.5) 右 边 的 可 
调 项 中 消去 w(n)。 于 是 ,我 们 可 按照 权 值 误差 向 量 e(n) 把 LMS 算法 重 写 为 


e(n + 1) = [I - pu(nju"(n)]e(n) ~ pu(n)es(n) (5.56) 
其 中 工 是 单位 阵 , 且 
e(n) = d(n) — wo uln) (5.57) 
是 最 优 维 纳 滤波 器 产生 的 估计 误差 。 


5.4.1 直接 平均 法 


式 (5.56) 是 权 值 误差 向 量 g(n) 的 随机 差分 方程 ,其 系统 矩阵 为 [I- wa(z) a”(n)]。 为 
了 研究 在 平均 意义 上 该 随机 算法 的 收敛 性 ,可 引用 Kushner(1984) 描 述 的 直接 平均 法 (direct- 
averaging method) 。 根 据 这 个 方法 ,如 果 LMS 滤波 器 在 小 步 长 参数 假设 下 运行 , 则 由 于 LMS 算法 
的 低 通 滤波 作用 , 式 (5.56) 随 机 差分 方程 的 解 接近 于 另 一 个 随机 差分 方程 的 解 , 而 后 者 的 系统 
和 矩阵 等 于 集 平 均 , 即 

E{I — pu(n)u"(n)| = I- uR 
式 中 R 是 抽 头 输入 向 量 的 相关 和 矩阵。 具体 来 说 ,我 们 可 用 如 下 随机 差分 方程 
goln + 1) = (I — wR)eo(n) — puln)es(n) (5.58) 

来 代替 式 (5.56) 的 随机 差分 方程 。 

这 里 为 了 表示 清楚 起 见 ,我 们 使 用 符号 am(m) 表 示 权 值 误 差 向 量 , 它 不 同 于 式 (5.56) 的 表 
示 。 当 然 , 对 于 限制 为 小 步 长 参数 j 的 情况 , 式 (5.56) 的 解 和 式 (5.58) 的 解 是 一 样 的 。 
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5.4.2 Butterweck 的 迭代 过 程 


在 Butterweck(1995,2001) 给 出 的 迭代 过 程 中 , 式 (5.58) 的 解 被 用 做 产生 原 随机 差分 方程 式 
(5.56) 全 部 解 的 一 个 出 发 点 。 这 样 得 到 的 解 ,其 精度 将 随 着 迭代 次 数 的 增加 而 改善 。 因 此 ,从 
解 a(n) 出 发 , 式 (5.56) 的 解 可 表示 为 部 分 函数 之 和 

e(n) = eo0(n) + a(n) + e(n) ++ (5.59) 
其 中 ,s(n) 是 当 py->0 时 式 (5.56) 的 零 阶 和 解 ,a1(n) ,s(n),… 是 当 py>0 时 式 (5.56) 的 高 阶 解 。 
如 果 把 零 均 值 差分 矩阵 定义 为 
P(n) = u(n)ju"(n) —R (5.60) 
并 将 式 (5.59) 和 式 (5.60) 代 入 式 (5.56) ,可 得 
Eoln + 1) + el(nt+1)+ ent+1)+.: 
= (1 — pR)[eo(n) + ei(n) + e2(n) +=] 
—pP(n)|eo(n) + e(n) + e(n) 十 ……]) — pu(n)e*(n) 
根据 上 式 , 很 容易 导出 联 立 差分 方程 组 
e(n +1) = (1- pR)e(n) + f(n) i=0,1,2, ... (5.61) 
其 中 下 标 i RRIERMCRM. BT BA(S.61) HB RK f, (n) RELA 
f(n) = {memes i 12 本 
因此 ,由 式 (5.56) 表 征 的 时 变 系统 ,变换 为 与 式 (5.61) 具 有 相同 基本 形式 的 方程 组 ,使 得 方程 
组 的 第 i 个 方程 的 解 ( 即 第 i 次 迭代 ) 可 以 从 第 (i - 1) 次 方程 推出 。 特 别 地 ，LMS 滤波 右 的 分 
析 就 变 为 研究 步 长 参数 jy 趋 于 0 时 平稳 随机 过 程 通过 极 低 截 止 频率 低 通 滤 波 器 的 传输 问题 。 
在 式 (5.59) 的 基础 上 ,可 利用 相应 的 级 数 ,把 权 值 向 量 sg(z) 的 相关 矩阵 表示 为 
K(n) = Ele(n)e"(n)] 


= X SEle(nel(n)] (i,k) = 0,1,2, ... 
i k 


根据 式 (5.61) 和 式 (5.62) 给 出 的 定义 将 该 级 数 展开 ,并 把 步 长 参数 w 中 同 阶 项 归并 ,可 得 相应 
级 数 的 展开 式 


(5.62) 


(5.63) 


K(n) = Ko(n) + wK,(n) + PKn) + ~ (5.64) 
其 中 各 种 矩阵 系数 定义 如 下 
Eleo(n)es'(n)] 对 于 j=0 
WK/(n) = > > Elednei(n) | 对 所 有 (i,k) 之 0 (5.65) 


PlMi+k =2j - 1,2; 
当 ;i+=27 时 , 式 (5.65) 的 第 二 部 分 是 容易 理解 的 ,因为 它 只 涉及 e(n) Al gi(n) 的 数量 级 。 
然而 ,如 果 将 下 标 i 相同 的 项 合并 ,并 用 -1 代替 使 得 下 标 之 和 为 2 - 1, 可 望 得 到 更 高 数 
量 级 的 结果 ,因为 s(n) E & (n) 高 一 个 数量 级 。 而 出 人 意外 的 低 数量 级 结果 , 则 归 因 于 
gi_1(n) 与 6;(n) 之 间 的 相关 性 很 弱 , 即 两 个 权 值 误差 向 量 几乎 是 正 交 的。 也 注意 到 ,K 并 不 
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是 与 上 无关 的 。 相 反 , 其 泰勒 展开 式 包含 高 阶 项 ,这 实际 上 使 得 K(n ) 的 级 数 展 开 式 不 会 比 式 
(5.64) 更 好 。 
尽管 式 (5.65) 中 和 矩阵 系数 以 相当 复杂 的 一 种 形式 出 现 ,但 它 可 由 LMS 滤波 器 工作 环境 的 
频谱 和 概率 分 布 来 确定 。 在 输入 信号 为 任意 有 人 色 的 更 一 般 情况 下 ,除了 某 些 特例 (Butterweck， 
1995) 外 ,j 宇 1 时 K; (n) 的 计算 将 是 十 分 乏味 的 。 然 而 , Butterweck 迭代 过 程 揭示 出 LMS 滤波 
器 统计 特性 中 一 种 令 人 感 兴趣 的 结构 。 
5.4.3 小 步 长 统计 理论 
下 面 ,我 们 把 统计 LMS 滤波 器 理论 限制 为 小 步 长 的 情况 ,这 表现 为 下 如 下 假设 : 
假设 I: 步 长 参数 p 很 小 时 ,LMS 滤波 器 起 着 一 个 低 截止 频率 低 通 滤波 器 的 作用 。 
在 这 个 假设 下 ,我们 就 可 以 把 实际 的 s(n) 和 K(n) 分 别 近 似 为 零 阶 项 多 (n) 和 Ko(n)。 
为 了 说 明 假 设 I 的 有 效 性 ,考虑 单个 权 值 LMS 滤波 器 的 例子 。 在 这 个 例子 中 ,随机 差分 方程 式 
(5.58) 简 化 为 下 面 的 标量 方程 
eln + 1)= (1— Mo2)eo(n) + fhln) 
其 中 o 为 输入 信号 w(n) 的 方差 。 这 个 差分 方程 代表 了 一 个 低 通 滤波 器 ,其 传递 现 数 具 
有 单 极点 
z = (1 — po?) 
对 于 小 的 ,这 个 极点 位 于 zx 平面 上 单位 圆 内 (很 接近 单位 圆 ) ,这 表明 该 滤波 器 具有 很 低 
的 截止 频率 。 
假设 Ws 产生 可 观测 数据 [ 即 期 望 响 应 d(n)] 的 物理 机 制 可 用 一 个 线性 多 回归 模型 来 描 
述 ,该 模型 与 维 纳 滤 波 器 完全 匹配 , 即 
d(n) = wiu(n) + e,(n) (5.66) 
其 中 不 可 约 的 估计 误差 向 量 e,(nn) 是 一 个 与 输入 向 量 U(nn) 统 计 独 立 的 白 品 声 过 程 。 
eu(z) 的 白 噪 声 特性 表明 ,其 相继 样 值 是 不 相关 的 , 即 
Ele.(n)es(n — k)] = {es ae k 2 o (5.67) 
第 二 个 假设 主要 部 分 已 在 第 2.8 节 讨 论 过 。 在 该 节 已 经 证 明 , 只 要 使 用 线性 多 回归 模型 是 合 
理 的 , 且 维 纳 滤波 器 长 度 刚 好 等 于 回归 模型 阶 数 , 则 由 维 纳 滤波 器 产生 的 估计 向 量 e。(m) 就 继 
承 了 模型 误差 的 白 噪声 统计 特性 [注意 ;e,(n) 与 u(n) 之 间 的 统计 独立 性 比 第 2 章 中 所 讨论 的 
正 交 性 来 得 强 ]。 
(说 明 假设 I 和 假设 I 的 正确 性 的 实验 ,见习 题 21。) 
根据 假设 1, 小 步 长 选择 一 定 是 在 设计 者 控制 之 下 进行 的 。 在 假设 中 ,为 了 使 LMS 滤波 
器 长 度 与 多 回归 模型 阶 数 匹配 ,要求 使 用 某 种 模型 选择 准则 ,比如 Akaike 的 信息 论 准 则 或 Ris- 
sanen 的 最 小 描述 长 度 准 则 ,这 些 均 已 在 第 1 章 讨论 过 。 若 由 于 这 个 或 那个 原因 , 式 ($.66) 所 
表述 的 多 元 回归 模型 成 立 ,但 维 纳 滤 波 器 与 模型 失 配 ,又 该 怎么 办 呢 ? 在 这 种 情况 下 ,把 估计 
误差 统计 特性 作为 白 噪声 看 待 可 能 不 合适 。 此 时 ,作为 假设 工 的 替代 ,使 用 如 下 假设 : 
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假设 II: 输入 向 量 u(n) 和 期 望 响应 J(n) 是 联合 高 斯 分 布 的 。 


由 物理 现象 产生 的 随机 过 程 常常 是 符合 高 斯 模型 的 。 而 且 , 用 高 斯 模型 描述 物理 现象 的 
可 行 性 已 得 到 实验 证 实 。 

因此 ,不 久 前 为 研究 LMS 滤波 器 统计 特性 而 发 展 起 来 的 小 步 长 理论 可 应 用 在 下 面 两 种 可 
能 情况 中 :其 一 是 假设 工 成 立 ,其 二 是 假设 亚 成 立 。 这 两 种 情况 包括 了 LMS 滤波 器 的 大 多 数 
运行 环境 。 最 为 重要 的 是 ,在 推导 小 步 长 理论 时 ,我 们 避免 对 输入 数据 的 统计 独立 性 做 任何 假 
设 。 这 个 问题 将 在 后 面 做 进一步 讨论 。 


5.4.4 LMS 滤波 器 的 自然 模式 


在 假设 1 条 件 下 ,Butterweck 迭代 过 程 变 为 下 面 一 对 方程 
e(n + 1) = (I — npR)eoln) + fo(n) (5.68) 
f(n) = ~pu(n)es(n) (5.69) 
在 进一步 处 理 之 前 ,通过 把 西 相似 变换 (unitary similarity transformation ) 应 用 于 相关 和 矩阵 R, 把 差 
分 方程 式 (5.68) 转 换 为 一 个 更 加 简化 的 形式 将 是 十 分 有 益 的 ( 见 附录 E)。 当 我 们 这 样 做 时 ， 
将 得 到 
QRQ = A (5.70) 
其 中 Q@ 是 一 个 酉 和 矩阵 (unitary matrix) ,其 列 将 组 成 与 相关 和 矩阵 及 的 特征 值 有 关 的 特征 向 量 的 
正 交集 ,而 A 是 由 特征 值 组 成 的 对 角 和 矩阵 。 为 了 获得 期 望 的 简化 ,引入 如 下 定义 


v(n) = Qeo(n) (5.71) 
因此 ,使 用 式 (5.70) 和 式 (5.71) 以 及 酉 矩阵 Q 的 特性 , 即 
QQ” =I (5.72) 
IAP LA Fe , ,可 把 式 (5.68) 转 化 为 如 下 形式 
v(n + 1) = (I - pA)v(n) + O(n) (5.73) 
这 里 ,新 的 向 量 O(n) FAR p(n) ARE Q 来 定义 , 即 
b(n) = Qfo(n) (5.74) 


对 于 随机 激励 向 量 中 (nn) 的 部 分 特性 ,可 在 LMS 滤波 器 集 上 将 其 均值 和 相关 矩阵 表示 为 : 
1) 随 机 激励 向 量 中 (n) 的 均值 为 零 , 即 


Elon] =0 ”对 所 有 n (5.75) 

2) 随 机 激励 向 量 $(m) 的 相关 矩阵 是 一 个 对 角 和 矩阵 , 即 
E[b(n)b"(n)] = Ai 人 (5.76) 
其 中 ,J 是 维 纳 滤波 器 产生 的 最 小 均 方 误差 ,A 是 抽 头 输入 向 量 ln) BA PE 


征 值 组 成 的 对 角 和 矩阵 。 


这 两 个 性 质 意味 着 变换 的 随机 激励 向 量 gCn) 的 各 个 分 量 互 不 相关 。 性 质 1 将 直接 遵循 
维 纳 滤波 器 固有 的 正 交 性 原理 [ 见 式 (2.11)]。 特 别 地 ,利用 式 (5.69) 和 式 (5.74), 有 
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b(n) = ~nQ*E[u(n)e3(n) ] 


=0 
其 中 ,由 于 正 交 性 原理 ,期 望 值 为 零 。 
相关 和 矩阵 中 (n) 定 义 为 
El o(n)b"(n)] = wWQ"E[u(njex(n)e,(n)u"(n)]Q (5.77) 


为 了 计算 式 (5.77) 的 期 望 值 ,可 视 工作 情况 ,引用 假设 工 或 假设 e 


o 当 维 纳 滤波 器 与 式 (5.66) 所 描述 的 多 元 回归 模型 理想 匹配 时 ,估计 误差 e,(n) 是 个 白 噪 
声 ( 见 假设 I)。 因 此 ,可 将 式 (5.77) 的 期 望 项 分 解 为 


Elu(n)es(n)eo(n)u’(n)] = Eles(n)e,(n) JE[u(n)u"(n)] 


= JhnnR 
从 而 
Elq$(n)$ (na)] = pin QRQ 
= BW Jmin A 
这 证 明了 性 质 2。 


o 当 维 纳 滤 波 器 与 式 (5.66) 描 述 的 多 元 回归 模型 不 匹配 时 ,可 引用 假设 贡 。 特 别 地 ,在 假 
设 输入 数据 u(n) 和 d(n) 为 联合 高 斯 分 布 条 件 下 ,估计 误差 e,(n) 近 似 高 斯 分 布 。 此 
时 ,把 高 斯 矩 分 解 定理 (Gaussian moment-factoring theorem) 用 于 式 (1.101) ,可 得 
Elu(n)es(n)e,(n)u4(n)] 
= E[u(n)es(n)]Ele,(n)u"(n)] + EleS(n)e,(n) ]E[u(n)u*(n) | 
利用 正 交 性 原理 ,上 式 变 为 
| E[u(n)e3(n)e,(n)u"(n)} = Eles(n)e,(n) |E[a(n)u"(n)] 
= IninR 
因此 ,利用 式 (5.77) 的 结果 ,我 们 得 到 
Elo(n)b*(n)] = unin QRQ 
= Join 人 
这 再 次 证 明了 性 质 2。 
根据 式 (5.73) ,组 成 LMS 滤波 器 瞬 态 响应 的 自然 模式 数 与 滤波 器 可 调 参数 的 数目 相等 。 
特别 地 ,LMS 滤波 器 的 第 个 自然 模式 可 表示 为 
Vin +1) = (1 — pA)v(n) + pln) k=1,2,...,M (5.78) 
通过 比较 上 式 与 最 速 下 降 算法 的 对 应 式 (4.19) 可 以 发 现 ,LMS 算法 的 瞬时 特性 不 同 于 随机 激 
励 内 (z) 存 在 时 的 最 速 下 降 算法 。 这 一 差异 具有 深刻 的 含义 。 特 别 地 ,由 式 (5.78) 可 见 ,自然 
模式 w 从 一 个 迁 代 到 另 一 个 迭代 的 变化 可 表示 为 
Avu,(n) = y(n 十 1) — x(n) 
= pAvn) + hn) k=12...,M (5.79) 
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它 可 分 为 两 部 分 :阻尼 激励 pAn (nz) 和 随机 激励 加 (n)。 由 于 和 (nn) 是 一 个 零 均值 的 白 噪 
声 过 程 , 因 此 可 把 差分 方程 式 (5.79) 看 做 一 个 离散 时 间 Langevin 方程 ,该 方程 由 布朗 运动 
(Brownian motion)® 来 表征 (Uhlenbeck & Ornstein, 1930; Reif，1965) 。 

Be $, (n)—FE, LMS 滤波 器 的 自然 模式 w (nz) 也 是 随机 的 ,并 具有 自己 的 均值 和 均 方 值 。 
S v,(0) 表 示 v,(n) 的 初始 值 , 解 式 (5.78) 的 差分 方程 可 得 


n—l 


vi(n) = (1 — mA) vr(0) + 2 (1 — pry)” ‘pr(i) (5.80) 


其 中 ,第 一 项 为 v,(n) 的 自然 分 量 (natural component) , 求 和 项 为 激励 分 量 (forced component) o 
引用 式 (5.75) 和 式 (5.76) 所 描述 的 随机 激励 加 (n) 的 统计 特性 ,可 以 得 到 自然 模式 w (n) 
(k=1,2,…,M) 的 一 、 二 阶 矩 公式 (见习 题 11): 





1) 均 值 
Elv(n)] = v,(0)(1 — pA (5.81) 
2) 均 方 值 
2 Jain 2n 2 min 
Eia] = E + (1 — pa (lon OF — 5A} (5.82) 


4 LMS 滤波 器 的 步 长 参数 较 小 时 ,滤波 器 的 自然 模式 将 关于 某 些 固定 值 做 布朗 运动 ， 
自然 模式 的 一 、 二 阶 矩 分 别 由 式 (5.81) 和 式 (5.82) 定 义 。 


利用 以 上 理论 ,很 容易 更 深入 地 研究 LMS 滤波 器 的 统计 特性 。 
5.4.5 学 习 曲 线 
使 用 和 集 平均 学 习 曲 线 研究 自 适应 滤波 器 的 统计 特性 是 一 种 通用 的 方法 。 特 别 地 ,我 们 来 





O ”为 了 描述 布朗 运动 ,考虑 一 个 沉浸 在 粘 滞 液体 中 质量 为 m 的 微观 粒子 。 假 设 该 粒子 的 质量 足够 小 以 致 于 它 的 热 振 
动 是 显著 的 。 设 v( i) 为 粒子 在 i 时 刻 的 速度 。 从 热力 学 的 均匀 分 布 定 律 可 知 ,粒子 的 平均 能 量 为 


1 
5 EO] = 3 kaT 对 所 有 (1) 


其 中 是 统计 期 望 算 子 , hg ERAS (Boman) AA, T 是 绝对 温度 。 液 体 中 分 子 施加 给 粒子 的 总 的 力 由 两 部 分 
组 成 : 
一 个 为 连续 阻尼 力 - a(t), ES Stokes 定律 相 一 致 (a 是 磨擦 系数 )。 
一 个 为 波动 力 所 (t) , 它 是 一 个 随机 过 程 ,因此 所 (1) 的 特性 只 是 一 个 平均 值 。 
在 没有 外 力作 用 的 情况 下 PEST RNS 
mo = = —av(t) + F(t) (2) 
两 边 同 除 以 m, 可 以 得 到 
dv(t) 
17 —yv(t) + T(t) (3) 
其 中 y=a/m, 而 T(t) = 已 (9/m。TCb) 项 是 单位 质量 的 波动 力 ,因为 它 取决 于 粒子 内 大 量 不 断 不 规则 运动 的 原 
子 的 位 置 ,所 以 是 一 个 随机 力 。 方 程 (3) 称 为 Langevin 方程 ,T(t ) 称 为 Langevin 力 (Reif，1965)。Langevin 方程 是 描述 
非 平稳 热力 学 的 第 一 个 数学 方程 , 它 描述 了 颗粒 在 任意 时 刻 的 状态 。 
比较 布朗 运动 的 方程 (3) 与 LMS 算法 的 方程 (5.79) 可知 ,后 一 个 方程 具有 与 离散 时 间 Langevin 方程 相同 的 数学 形 
式 。 
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辨别 两 种 曲线 ; 
1) 均 方 误差 (MSE ,mean-square error) 学 习 曲 线 ” 它 基于 均 方 估计 误差 le(n)1?: 的 集 平均 
值 。 这 个 学 习 曲 线 因 此 也 是 均 方 误差 
J(n) = 巨 [le(a 门 (5.83) 
在 时 刻 n 的 图 形 。 
2)34 % 4m Z (MSD, mean-square deviation) 学习 曲线 “” 它 基于 均 方 估计 误差 | e(n) |? 偏差 
的 集 平 均值 。 这 个 学 习 曲线 因此 也 是 均 方 误差 的 偏差 
B(n) = E[je(n)|] (5.84) 
在 时 刻 n 的 图 形 。 
与 第 4 章 最 速 下 降 算法 的 情况 不 同 ,LMS 算法 的 均 方 误差 J(m) 和 均 方 偏差 8(m) 都 取决 于 时 
刻 ”因为 估计 误差 e(n) 和 权 值 误差 向 量 s(m ) 都 是 非 平稳 过 程 。 
LMS 滤波 器 的 估计 误差 可 表达 为 
e(n) = d(n) 一 Wi(n)u(n) 
= d(n) ~ weu(n) + ©? (n)u(n) 
= e(n) + e” (n)u(n) 
~e(n) + ev(n)n(n) Haught 
其 中 e,(n) 为 维 纳 滤波 器 所 产生 的 估计 误差 ,而 go(n) 是 LMS 滤波 器 的 零 阶 权 值 误差 向 量 。 
因此 ,对 应 的 LMS 滤波 器 所 产生 的 均 方 误差 为 
J(n) = Elle(n)/"] 
~ El(e(n) + ef(n)u(n))es(n) + ur((n)eo(n))] (5.86) 
= Jain + 2Re{Ele* ed (n)u(n)]} + Ele#(n)ua(n)u’(n)eo(n)] 
AP J 是 维 纳 滤波 器 所 产生 的 最 小 均 方 误差 ,Re .| 表示 取 实 部 运算 。 
在 下 列 情况 下 , 式 (5.86) 右 边 第 2 项 为 零 : 
o 在 假设 I 条 件 下 ,由 维 纳 滤波 器 所 得 到 的 不 能 变 小 的 估计 误差 e (= ) 与 输入 向 量 u(n) 
统计 独立 。 在 时 刻 n, 零 阶 权 值 误差 向 量 &,(n) 取 决 于 e,(n) 的 过 去 值 , 这 一 关系 是 重 
复 应 用 式 (5.58) 得 到 的 结果 。 从 而 得 到 
E(leo(n)ed'(n)u(n)] = Eles(n) |E[es!(n)u(n)]) 


(5.85) 


(5.87) 
=0 
© 在 假设 亚 条 件 下 , 式 (5.87) 的 结果 也 成 立 。 对 于 a(n) A au(n) 的 第 大 个 元 素 , 其 数学 
期 望 为 . 
Eļ|ež(n)eč(nju({n — k) | k=0,1,...,M—1 


假设 输入 向 量 u(n) 和 期 望 响应 4d(n) 是 联合 高 斯 过 程 ,估计 误差 e (mn) 因 而 也 是 高 斯 
的 , 则 应 用 式 (1.100) , 即 得 
Elez(n)e,(n)u(n 一 及] = 0 对 所 有 k 
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从 而 得 到 式 (5.87)。 
为 了 计算 式 (5.86) 的 其 他 项 ,作为 假设 1 的 结果 ,我 们 使 用 如 下 事实 :与 输入 向 量 u(n) 相 
比 , 权 值 误 差 向 量 s(n) 随 时 间 的 变化 是 很 慢 的 ;也 就 是 说 ,输入 信号 u(n) 的 谱 内 容 大 大 不 同 
于 权 值 误差 e (n),k =0,1,…, M - 1。 因 此 ,利用 直接 平均 法 ,我 们 可 用 其 期 望 值 代替 
u(n)u”(n), 从 而 可 写 出 
Eled(n)u(n)u"(n)eo(n)] ~ Eleg (n)E[u(n)u"(n)]eo(n))] 
= Elef(n)Re,(n)] 
由 于 一 个 标量 的 迹 等 于 其 本 身 ,因此 取 这 个 期 望 的 迹 并 交换 期 望 与 求 迹 的 顺序 ,得 到 
Elef# (nan)ai(n)eon)| = tr{Elet(n)Reo(n)]} 
= E{tr[ef(n)Reo(n)|} 
其 次 ,利用 矩阵 代数 ,使 用 如 下 等 式 
tr[AB] = tr[BA] 
其 中 A Al B 是 维 数 相 容 的 和 矩阵。 因此 ,如 令 A= ef ,B= Ra ,可 以 写 出 
Elef{(n)u(n)u" (n)eo(n)] ~ E{tr[Reo(n)et (n)]} 
= tr{E[Reo(n)e# (n)]} 
= tr{RE|eo(n)ed (n)]} 
= tr[RKo(n)] 
其 中 R 是 抽 头 输入 相关 矩阵 ,K,(n) 是 式 (5.65) 第 一 行 定义 的 权 值 误差 相关 和 矩阵 的 零 阶 近 似 。 
因此 ,将 式 (5.87) 和 式 (5.88) 代 入 式 (5.86) ,可 把 LMS 滤波 器 产生 的 均 方 误差 近似 地 表 为 
J(n) = Jan + tr[RKo(z)] (5.89) 
式 (5.89) 表 明 , 对 于 所 有 n, LMS 滤波 器 估计 误差 的 均 方 值 包含 两 个 部 分 :最 小 均 方 误差 人 ,以 
及 依赖 于 零 阶 权 值 相关 矩阵 K,(n) 过 渡 特 性 的 分 量 。 由 于 后 一 分 量 对 于 所 有 的 n 是 非 负 定 
的 ,因此 LMS 滤波 器 所 产生 的 均 方 误差 J(n) 超 过 最 小 均 方 误差 Jano 


现在 定义 额外 均 方 误差 为 n 时 刻 LMS 滤波 器 所 产生 的 均 方 误差 J(n) 与 相应 的 维 纳 滤 波 
器 所 产生 的 最 小 均 方 误差 J 之 差 。 如 用 J。(n) 表 示人 额 外 均 方 误差 , 则 有 


Jex(n) = = J(n) — Jmin 
~ tr[RKo(n)| 
使 用 式 (5.65) 第 一 行 的 定义 ,并 以 类 似 于 式 (5.88) 的 方式 处 理 它 , J。(n) 可 表示 为 
Jex(n) ~ tr{RE[eo(n)e#(n)]} 
= tr{RE[Qv(n)v4(n)Q"]} 
= T planavo oa l 
= E{tr[v”(n)Q"RQv(n)]} (5.91) 
= = Eu" n)Av(n)]} 


= E vsti 


(5.88) 


(5.90) 
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在 假设 1 条 件 下 ,再 一 次 使 用 sa (z) 作 为 权 值 误差 向 量 s(n) 的 近似 , 则 可 使 用 式 (5.71) 将 
式 (5.84) 的 均 方 偏差 近似 表示 为 
D(a) = E[leo( na) P| 
= 如 [wa 人 
“ 2 
= $ elf 
式 中 ,第 二 行 利用 了 这 样 一 个 事实 :向 量 的 欧 氏 范 数 (Euclidean norm) 对 西 相似 变换 的 旋转 是 不 
变 的 。 现 令 Xu 和 和 ,分 别 表示 相关 和 矩阵 及 的 最 小 和 最 大 特征 值 , 即 
Amin S Àk S Amax k = 1,2, < M (5.93) 
利用 式 (5.91) 和 式 (5.92) ,可 以 定 出 均 方 偏差 的 界 为 
Amin D(A) < Jaln) < Amax D(A) 对 所 有 


(5.92) 


等 效 地 ,上 式 可 以 写 为 


min Amax 





对 所 有 nn (5.94) 


这 两 个 不 等 式 表 明 ,对 于 所 有 的 n, 均 方 偏差 多 (n) 的 下 界 为 JaC ERAH J (1 )/A miao 
相应 地 ,可 以 指出 , 均 方 偏 差 以 类 似 于 额外 均 方 误差 变化 的 方式 , 随 着 迭代 次 数 的 增加 而 变 小 。 
因此 ,我 们 有 充分 的 理由 把 注意 力 集中 于 J。(n) 的 收敛 性 问题 上 。 


5.4.6 瞬 态 特性 和 收敛 性 考虑 


根据 式 (5.81) ,指数 因子 (1 - ju)" 支配 着 n 时 刻 LMS 滤波 器 第 不 个 自然 模式 均值 的 演 
变 。 该 指数 因子 衰减 到 零 的 必要 条 件 为 
| -1<1- pd, <H 对 所 有 天 
依次 , 它 对 步 长 参数 施加 如 下 约束 条 件 


O<p< 





Amax 

这 里 Xu 是 相关 矩阵 R 的 最 大 特征 值 。 然 而 ,在 研究 LMS 滤波 器 的 瞬 态 特性 时 ,要 考虑 到 式 
(5.81) 的 推导 受到 要 求 步 长 参数 w 较 小 的 约束 。 通 过 对 y 赋予 比 4ww 更 小 的 值 ,可 以 满足 
这 个 要 求 。 对 于 所 有 的 ,可 保证 指数 因子 (1 - /xz) ” 随 着 迭代 次 数 的 增加 衰减 到 零 。 在 这 种 
情况 下 ,可 得 到 


E([u(n)]) 一 0 当 n 一 oo 对 所 有 k (5.95) 

等 效 地 ,利用 式 (5.55) 和 式 (5.71) ,以 及 用 go《n) 近 似 s(n) ,我 们 有 
E[w(n)] >w, 当 n > co (5.96) 
式 中 w, 是 维 纳 解 。 然 而 ,由 于 渐进 零 均值 随机 变量 序列 不 需要 趋 近 于 零 , 这 样 的 收敛 准则 几 


乎 没有 实际 价值 。 
为 了 避免 上 述 均值 收敛 的 缺点 ,可 考虑 一 种 更 强 的 准则 :以 均 方 方 式 收敛 。 该 收敛 方 式 与 
集 平 均 学 习 曲 线 有 关 , 因 此 它 可 解释 学 习 曲 线 在 研究 自 适 应 滤波 器 中 的 重要 性 。 在 式 (5.90) 
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第 1 行 中 利用 式 (5.82) 和 式 (5.91) ,可 将 LMS 滤波 器 所 产生 的 均 方 误差 表示 为 


Ii) = Jain + pan + SA otop = 5A = pag 
mem m e 2 一 pr, k=1 mre 2 一 pA, 


(5.97) 
Jimin ud A J, in n 
~ Jnin 十 Eain È A + S a(o 一 er 0 一 pA u 较 小 


对 于 所 有 自然 模式 k=1,2,…, MM,n 时 刻 的 J(n) 由 指数 因子 (1 - 2,)” 控 制 。 考 虑 到 式 
(5.97) 的 推导 受到 小 步 长 参数 j 的 约束 ,我 们 再 一 次 通过 选择 比 1/X。。 更 小 的 w 值 来 满足 这 
个 要 求 。 在 这 种 条 件 下 , 则 可 保证 指数 因子 (1 - A)” 随 着 迭代 次 数 的 增加 衰减 到 零 。 因 此 ， 
我 们 可 将 w 较 小 时 LMS 滤波 器 学 习 曲 线 的 特点 表述 为 如 下 原理 : 


IMS 滤波 器 的 集 平均 学 习 曲 线 不 存在 振荡 ,而 是 指数 衰减 到 如 下 常数 值 


Jlo) = Jain + pI Se 

m mn a1 2 — pA 

doin M (5.98) 

2 DM 当 / 较 小 时 
然而 ,应 当 注 意 到 这 个 原理 的 可 用 性 是 以 零 阶 解 so(n) 为 基础 的 ,而 且 仅 当 w 较 小 时 才 是 

正确 的 。 当 u 较 大 时 ,有 关 LMS 滤波 器 的 稳定 性 问题 还 没有 见 到 一 种 可 信赖 的 表述 。 在 后 一 

种 情况 下 ,整个 LMS 滤波 器 (如 零 阶 解 和 高 阶 解 ) 必 须 加 以 考虑 。 因 此 , LMS 滤波 器 的 稳定 性 

需要 有 一 个 比如 下 条 件 





= Jmin + 





H< 


Àmax 


更 严格 的 关于 最 大 步 长 参数 的 必要 条 件 。 关 于 这 一 点 后 面 有 更 详细 的 讨论 。 
5.4.7 失调 


下 面 ,引入 一 个 新 的 参数 一 一 失调 (misadjustment) 来 表征 LMS 滤波 器 , 它 定义 为 
M — Jaxl 0) 
a (5.99) 
表面 上 ,失调 定义 为 额外 均 方 误差 的 稳 态 值 J。( % ) 与 最 小 均 方 误差 Ju 之 比 。 使 用 式 (5.98) 
和 式 (5.99) ,在 小 u 值 情况 下 可 写 出 下 式 


u uf 
M = = S Ak (5.100) 
21 


失调 人 是 一 个 无 量 纲 的 参数 , 它 提供 了 如 何 选 择 LMS 算法 使 得 在 均 方 误差 意义 下 达到 最 
优 的 一 个 测度 。 与 1 相 比 ,失调 越 小 ,由 LMS 算法 完成 的 自 适 应 滤波 作用 越 精确 。 通 常用 百 
分 比 表示 失调 参数 信 。 例 如 ,10% 的 失调 意味 着 LMS 算法 产生 的 均 方 误差 要 比 最 小 均 方 误差 
JaK 10%。 这 样 的 性 能 在 实际 应 用 中 被 认为 是 满意 的 。 

根据 附录 下 介绍 的 特征 值 分解 理 论 可 知 ,和 抢 阵 及 的 迹 等 于 它 的 特征 值 的 和 。 因 此 ,可 用 
等 效 形式 重 写 式 (5.100) 为 


M = 二 tr[R] (5.101) 
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这 个 式 子 是 特征 值 分 解 的 结果 。 也 可 以 不 必用 这 种 方法 而 直接 导出 此 式 ， 正 如 习题 12 那 
样 。 

不 管用 何 种 方法 导出 式 (5.101) ,我 们 注意 到 ,对 于 由 图 5.1 所 示 横 向 滤波 器 抽 头 输入 组 
成 的 平稳 过 程 中 ,相关 矩阵 及 不 仅 是 非 负 定 的 而 且 是 托 伯 利 兹 (Toeplitz) 的 ,其 矩阵 的 主 对 角 
线 元 素 等 于 >(0) 。 由 于 (0) 本 身 等 于 滤波 器 每 一 个 抽 头 输入 的 均 方 值 ,因此 有 

tr[R] = Mr(0) 
M-1 
= X Ellu(n — k)f] 
k=0 


= E[|lu(n)|"] 
于 是 ,使 用 “总 的 抽 头 输入 功率 "来 称谓 图 $.1(b) 中 抽 头 输入 zf(m) uln-1),,uln-M+1) 
的 均 方 值 之 和 ,可 将 失调 式 (5.101) 重 写 为 


Ae = EX (总 的 抽 头 输入 功率 ) (5.102) 
5.4.8 平均 时 间 常 数 
为 了 继续 利用 有 用 的 设计 原则 ,定义 抽 头 输入 的 相关 怎 阵 R 的 平均 特征 值 为 
day = 2 Èa (5.103) 


BEBE LMS HE HRPA Od hh R AT FAET E Ce ov AITHE BOR FE UE M PI A ROE F EA P 
的 式 (4.32) 定 义 LMS 算法 的 平均 时 间 常 数 为 





1 


Tmse, av 一 psy (5. 104) 
在 式 ($.100) 中 利用 式 (5.103) 和 式 ($.104) 的 平均 值 , 可 近似 地 重新 定义 失调 为 
UMÀw 
AM = a 一 
M (5.105) 





以 这 个 公式 为 基础 ,可 以 得 出 如 下 结论 : 
1) 对 于 固定 的 rw, 失调 U 随 着 滤波 器 长 度 ( 抽 头 数 )M 线性 增加 。 
2)LMS 算法 的 确立 时 间 ( 即 瞬 态 消失 时 间 ) 正 比 于 rw w, 从 而 失调 反比 于 确立 时 间 。 
3) 失 调 y 正比 于 步 长 大 小 ,而 平均 时 间 常 数 row 反比 于 w。 因 此 存在 互相 矛盾 的 要 
求 :车 y 变 小 以 使 得 失调 减 小 , 则 LMS 算法 的 确立 时 间 将 增加 ;反之 , 若 六 变 大 以 使 得 
确立 时 间 减 小 , 则 LMS 算法 的 失调 将 增加 。 因 此 ,必须 注意 w 的 选择 。 


5.4.9 小 步 长 理论 要 点 以 及 与 独立 性 理论 的 比较 


本 节 导 出 的 LMS 滤波 器 小 步 长 理论 建立 在 第 2 章 维 纳 滤波 器 理论 的 基础 上 , 它 在 如 下 情 
况 下 提供 了 估计 滤波 器 瞬 态 与 稳 态 响应 的 一 种 原则 性 的 方法 : 
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情况 1 期 望 响应 4(n) 对 抽 头 输入 向 量 u(z) 的 统计 依赖 性 由 多 重 线性 回归 模型 决定 。 
用 来 计算 未 知 模型 参数 向 量 的 维 纳 滤波 器 ,其 长 度 等 于 模型 阶 数 。 此 外 ,不 需要 对 环境 的 统计 
表征 做 任何 其 他 假设 。 


情况 2 期 望 响应 da(n) 对 抽 头 输入 向 量 u(n ) 的 统计 依赖 是 线性 的 ,而 且 是 任意 的 。 期 
望 响应 d(n) 对 抽 头 输入 向 量 un) 是 联合 高 斯 的 。 此 外 ,不 需要 对 环境 的 统计 表征 做 任何 其 
他 假设 。 

小 步 长 理论 的 基本 结果 是 LMS 滤波 器 的 集 平 均 学 习 曲 线 呈 现 出 与 式 (5.97) 相 一 致 的 确 
定性 特性 。 此 外 ,与 式 (4.28) 相 比 容易 看 出 ,LMS 滤波 器 的 集 平 均 学 习 曲 线 背 离 了 相应 于 维 纳 
滤波 器 的 最 速 下 降 算法 的 集 平 均 学 习 曲 线 ,这 是 因为 随机 激励 源 的 存在 所 引起 的 。 

小 步 长 理论 的 另 一 个 显著 特点 在 于 , 它 提 供 了 LMS 滤波 器 的 随机 行为 与 布朗 运动 之 间 的 
深层 次 关系 ,其 数学 描述 由 Langevin 方程 给 出 。 

更 为 重要 的 是 ,小 步 长 理论 克服 了 来 源 于 LMS 滤波 器 统计 文献 (Widrow et al. ,1976; Mazo, 
1979; Gardner, 1984) 的 独立 性 理论 的 缺陷 。LMS 滤波 器 的 独立 性 理论 做 了 如 下 假设 : 


o 抽 头 输入 向 量 ua(1), a(2),...,u(n) 组 成 了 统计 独立 的 向 量 序列 。 

o 在 时 刻 n, 抽 头 输入 向 量 a(n) 与 期 望 响 应 所 有 过 去 值 4(1) ,4d(2),…,d(n -1) 统 计 独 
Moo 

o 在 时 刻 ,期 望 响应 dz) 与 相应 的 抽 头 输入 向 量 u(n) 有 关 , 但 与 期 望 响应 的 所 有 过 去 
值 统计 独立 。 


独立 性 理论 可 在 某 些 应 用 场合 获得 证 实 , 例 如 自 适 应 波束 形成 ,在 那里 天 线 阵列 从 周围 环 
境 中 接收 到 的 连续 快照 数据 ( 即 输入 向 量 ) 很 可 能 是 相互 统计 独立 的 。 然 而 ,在 通信 中 自 适 应 
滤波 应 用 (如 信和 号 检测 、 信 道 均衡 、 回 波 消 除 ) 中 ,引导 权 值 向 量 向 最 优 维 纳 解 搜索 的 输入 向 量 
实际 上 是 统计 相关 的 ,原因 在 于 输入 数据 的 移 位 特性 。 具 体 而 言 ,在 = 时刻 , 抽 头 输入 向 量 为 


u(n) = [u(n),u(n — 1),... u(n- M + 1)]" 
在 n+1 时 刻 , 抽 头 输入 向 量 为 
u(n + 1) = [u(n + 1), u(n),...,u(n — M+2)] 


于 是 ,由 于 新 的 样 值 w(n + 1) 的 到 达 , 旧 的 样 值 wv(n - M+1) 将 从 u(n) 中 被 废弃 。 而 且 余 下 
的 那些 样 值 u(n), u(n-1),..., u(n- M+2) 按 时 间 反 向 移 位 一 个 单元 ,以 便 腾 出 空间 给 
新 的 样 值 w(n + 1)。 由 此 可 见 ,在 某 一 瞬 态 确立 过 程 中 , 抽 头 输入 向 量 以 及 相应 地 由 LMS 算 
法 计算 的 梯度 方向 实际 上 是 统计 相关 的 。 

独立 性 理论 导出 LMS 滤波 器 瞬 态 和 稳 态 响应 的 某 些 结论 ， 这 些 结论 类 似 于 小 步 长 理论 获 
得 的 结果 。 然 而 ,在 分 析 LMS 滤波 器 统计 特性 时 ,人 们 更 喜欢 采用 小 步 长 理论 。 原 因 有 三 :小 
步 长 理论 原理 上 基础 牢固 ,见解 深刻 ,易于 应 用 。 

另外 需要 指出 的 是 ,在 推导 小 步 长 理论 时 ,我们 忽略 了 式 (5.59) 所 给 出 的 加 权 误差 向 量 
E (nn) 表 达 式 中 的 高 阶 项 a(z) ,s(n),...。 然 而 , 当 采 用 大 步 长 来 加 速 收敛 时 ,这 些 高 阶 项 对 
LMS 滤波 器 统计 分 析 的 贡献 将 变 得 很 有 意义 ,因此 不 得 不 顾及 。 高 阶 项 e (n),s,(n),... 所 
上 共有 的 随机 特征 ,将 招致 加 大 步 长 时 LMS 滤波 器 学 习 曲 线 中 噪声 特性 影响 的 增 大 (高 阶 修正 
问题 将 在 下 一 小 节 讨 论 )。 
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5.4.10 长 LMS 滤波 器 的 统计 波形 理论 


长 LMS 滤波 器 已 被 广泛 使 用 ,特别 是 在 声学 应 用 中 。 无 论 从 理论 上 讲 ,还 是 从 实用 的 观 
点 ,将 无 限 长 的 LMS 滤波 器 看 做 有 限 的 形式 ,进而 导出 LMS 滤波 器 的 统计 波形 理论 将 是 有 益 
的 。 在 电磁 干扰 能 像 波 一 样 传 向 无 限 远 的 类 似 于 传输 线 的 方式 中 ,无 限 长 LMS 滤波 器 中 的 信 
号 将 像 波 一 样 传 向 无 限 远 的 终端 。 在 实际 的 LMS 滤波 器 中 ,在 滤波 器 接近 开始 和 结束 工作 时 
都 要 进行 一 些 校正 。 这 些 校 正 可 根据 反射 波 来 解释 。 对 于 长 的 LMS 滤波 器 , “反射 ”区域 ( 即 
不 能 忽略 无 限 小 反射 波 的 区 域 ) 与 滤波 器 总 长 度 相 比 将 很 小 ;此 时 ,LMS 滤波 器 的 自 适应 机 制 
几乎 不 受 影响 (Butterweck，2001 )。 

在 本 节 前 面 描述 的 基于 Butterweck 迭代 步骤 所 进行 的 Butterweck (2001) 研 究 中 ,已 经 证 明 
稳 态 和 有 瞬 态 条 件 下 的 长 LMS 滤波 器 的 统计 波形 理论 受到 某 些 著名 的 简单 规律 的 支配 。 这 些 
规律 可 总 结 如 下 ; 


1) 稳 起 响应 ”对 于 小 步 长 和 长 LMS 滤波 器 ( 即 yj 一 0, M—> o ) ,即使 抽 头 加 权 误 差 和 噪声 
按 不 同 的 时 间 标 度 波动 ,空间 加 权 误差 相关 仍然 与 瞬 态 噪声 相关 有 关 , 即 


Eleox(n)et ri(n)] = 5 Elen(njes(n — 1)] (5.106) 


其 中 eo, (n) ES MMAR A s(n) HO k SAME, e, (n) EERE E BE 
计 误 差 (噪声 )。 式 (5.106) 左 边 是 “空间 ”类 相关 ,因为 它 包 含 LMS 滤波 器 两 个 不 同 的 抽 
头 , 即 庆 和 k 一 1。 式 (5.106) 右 边 是 “时 间 ” 类 相关 ,因为 它 包 含 不 同时 刻 的 估计 误差 , 即 
nAln-1l, 令 人 惊奇 的 是 ,输入 信号 对 加 权 误 差 相 关 性 没有 影响 。 从 这 个 方程 可 以 得 
到 稳 态 响应 的 两 种 特殊 情况 : 
e@ 当 !=0 时 ,sox(z) 的 均 方 值 等 于 对 所 有 上 的 最 小 均 方 误差 J 的 1/2 售 。 
o 当 白 噪声 为 估计 误差 e,(n) 时 , 权 值 波动 是 不 相关 的 。 
值得 指出 的 是 ， 这 些 结果 在 独立 性 假设 (Douglas & Pan,1995) 情 况 下 也 可 以 得 到 ;而 在 由 
Butterweck 研 究 的 统计 波形 理论 中 不 需要 该 假设 。 
2) 自 然 ( 瞬 态 ) 响 应 ”通过 置式 (5.80) 的 随机 激励 为 零 ,可 以 得 到 长 度 为 M 的 LMS 滤波 器 
的 自然 响应 , 即 
y(n) = (1 — pa,)"v,(0) 1=1,2,...,M (5.107) 
其 中 wv.(n) 是 v(n) =Q* s(n) 的 第 1 个 分 量 [严格 地 说 ,为 了 表示 的 正确 ,应 在 vw,(n) 的 
角 上 加 上 “自然 ”的 标记 ,为 了 简便 起 见 ,这 里 没有 这 样 做 ]。 为 了 计算 无 限 长 ( 即 MN- 
oo )LMS 滤波 器 的 自然 响应 ,使 用 大 托 伯 利 兹 矩阵 的 渐进 特性 (Gray,1972)。 根 据 这 个 
特性 ,可 导出 现 有 问题 的 如 下 结果 : 
© 托 伯 利 兹 和 抢 阵 特征 谱 ( 特 征 值 集合 ) 演 变 为 空间 分 布 正 弦 模 型 的 连续 统 (continuam) , 
定义 为 
Re") = 之 "De (5.108) 
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其 中 e 表示 空间 频率 ,r(1) = EL u(n)u* (n-1)]. 
© 自然 响应 w (nm) 演 变 为 加 权 误 差 soj(z) 的 空间 傅 里 叶 变换 


E,{e*, n) = È e0,(nje™ (5.109) 

用 相应 的 方式 , 当 令 滤波 器 长 度 接 近 无 限时 , 式 (5.108) 变 为 有 效 形式 
E,(e*,n) = (1 — wR(e*))"E,(e*, 0) (5.110) 
于 是 ,加 权 误 差 66,,(n) 的 空间 仿 里 叶 变 换 将 对 所 有 的 1 呈 指 数 衰减 ,衰减 因子 取决 


于 空间 频率 co 
Butterweck(2001) 研 究 了 一 阶 校正 量 e1, (n) 5 1 =1 H} s (n) HR 1 个 分 量 满足 式 
(5.61) 和 式 (5.62) ] 对 式 (5.110) 指 数 加 权 误 差 豪 减 所 附加 的 波动 。 在 该 研究 中 ,得 出 
如 下 结果 ， 

© 自 适应 过 程 开始 和 结束 时 波动 的 幅度 为 零 ,并 在 时 间 常 数 的 一 半 处 达到 最 大 值 。 

e 最 大 幅度 取决 于 步 长 参数 w。 当 ux 一 0 时 ,幅度 消失 ,但 假设 在 稳定 界 附近 有 
一 个 相对 大 的 值 。 


3) 稳 定性 ”对 于 大 步 长 ,必须 考虑 高 阶 校正 量 。 在 做 这 件 事 时 ,要 导出 py 的 一 个 上 界 ， 
如 超过 它 ,LMS 滤波 器 就 不 稳定 了 。 具 体 分 析 如 下 (Butterweck ,2001) : 


© 根据 式 (5.107) 零 阶 解 eo.1(n) 的 自 相关 ,确定 一 阶 校正 量 e1,,(n) 的 自 相关 。 

© 用 ez,(n) 取 代 ei,1,(n), 且 用 ei,1(n) 取 代 eo,,(n) 以 找 出 一 阶 与 二 阶 校正 量 之 间 的 关 
系 。 

o 继续 上 述 过 程 ,以 便 用 P 阶 自 相关 确定 (P+1) 阶 的 自 相关 。 


A 
Ao(!) = E[eoi(n)st$i-i(n)] (5.111) 
及 
A (l) = Elsii(n)sti i(n)] (5.112) 
则 作为 上 述 步骤 的 一 个 结果 ,4 (1) 55 4o( 1) 的 关系 可 表示 为 如 下 卷 积 和 
Al) = 7M Srlk)Adl! — k) (5.113) 


现 设 算 子 Fw[* ERFARE ER, RCS. 113) PH Be BB a ee FF H EA BS AT H 
该 运算 转化 为 乘积 ,于 是 得 到 


Fasl A1(1)] = S M Fopacel (2) Epacl Ao !)] (5.114) 


其 中 这 三 个 傅 里 叶 变 换 都 有 功率 谱 特 征 , 从 而 是 正 的 。 
式 (5.114) 为 以 严格 方式 推导 稳定 性 条 件 提供 了 基础 。 为 了 继续 探讨 这 个 重要 的 问题 , 设 
步 长 参数 u 满足 如 下 条 件 


2 
0<u< MFoealr()] 对 所 有 空间 频率 和 大 M (5.115) 
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令 S(w) 表 示 抽 头 输入 u(n) 的 功率 谱 密 度 , 根 据 第 1 章 介 绍 的 爱 因 斯 坦 - 维 纳 - 克 欣 特 钦 
(Einstein-Wiener-Khintchine) 关 系 式 ,S(w) 是 自 相 关 函 数 >( 站 的 傅 里 叶 变换 。 于 是 ,可 用 等 效 
形式 重新 表示 式 (5.115) 的 条 件 为 





0 < p< S 对 所 有 w MKM (5.116) 
即 
O<p< on 对 大 M | (5.117) 
式 中 Su 表示 功率 谱 密 度 S(w) 的 最 大 值 。 在 这 种 情况 下 ,由 式 (5.114) 可 得 
Foal Ai(!)] < Fepacel 4D] ”对 所 有 空间 频率 (5.118) 
或 等 效 地 
A,(0) < Ao(0) (5.119) 
利用 定义 式 (5.111) 和 式 (5.112) ,我 们 有 
Elleii(n)] < Efem] 对 所 有 抽 头 1 (5.120) 


式 (5.120 ) 表 明 ， 只 要 步 长 参数 u 满足 式 (5.117 ) 的 条 件 ， 一 阶 均 方 值 小 于 零 阶 解 的 均 
方 值 。p 阶 和 (p +1 ) 阶 校正 量 均 方 值 之 间 的 关系 也 同样 如 此 。 相 反 地 ， 如 果 式 (5.117) 的 条 件 
不 满足 ， 则 e1,,(n ) 的 功率 谱 密 度 大 于 co(n ) 的 功率 谱 密 度 ， 而 且 对 所 有 相继 校正 量 来 说 ， 
也 同样 如 此 。 因 此 ，Butterweck 的 迭代 过 程 是 发 散 的 ，LMS 滤波 器 是 不 稳定 的 。 从 而 可 得 出 
如 下 结论 : 式 ($.117) 定 义 了 中 等 长 度 的 LMS 滤波 器 和 很 长 的 LMS 滤波 器 均 方 稳定 的 必要 条 
{EO , 

支持 式 (5.117) 作 为 长 LMS 滤波 器 稳定 性 的 某 些 实验 证 据 已 在 Butterweck(2001) 文 献 中 报 
道 ,总 结 如 下 : 


© 当 步 长 参数 满足 式 (5.117) 条 件 时 ,没有 看 到 不 稳定 现象 。 

o 当 j 超过 式 (5.117) 的 上 界 时 ,即使 稍为 越界 ,频繁 观察 到 不 稳定 现象 。 
然而 ,在 实验 研究 中 我 们 要 有 足够 的 耐心 ,因为 在 计算 机 模拟 中 不 稳定 性 不 容易 检测 到 。 特 别 
地 ,要 长 时 间 观 察 LMS 滤波 器 的 特性 ,才能 得 到 正确 的 稳定 性 评价 。 例 如 ,在 10? 次 迭代 或 更 
多 次 迭代 下 ,LMS 滤波 器 可 能 均 是 稳定 的 ,而 后 突然 出 现 不 稳定 。 





”LMS 滤波 器 的 收敛 性 〈 稳 定性 ) 分 析 是 许多 年 来 活路 的 研究 领域 ， 未 来 几 年 也 可 能 如 此 。 由 于 Butterweck (2001) 
的 工作 ， 式 (5. 117) 成 为 第 一 个 严格 导出 的 大 M 的 LMS 滤波 器 步 长 参数 u 稳定 性 界 的 必要 条 件 。 然 而 ， 有 关 
步 长 参数 u 稳定 性 界 的 充 要 条 件 的 严格 推导 仍然 是 一 个 尚未 解决 的 问题 。 
具有 概率 1 的 LMS 滤波 器 的 指数 稳定 性 的 充 要 条 件 , 也 已 由 Bitmead (1983, 1984), Bitmead 和 Anderson (1980a, b) , 
Guo 等 (1997) 和 Solo(1997) 所 研究 。 然 而 ,这 些 研究 仅仅 在 “对 于 足够 较 小 的 步 长 参数 u, LMS 算法 是 收敛 的 "的 意 
义 上 得 出 了 很 一 般 的 表述 ,而 没有 给 出 关于 p 的 具体 的 界 。 从 滤波 器 设计 的 观点 看 ,我 们 很 需要 一 个 基体 的 界 。 
在 详细 的 实验 研究 中 , Nascimento 和 Sayed(2000) 给 出 了 一 个 模拟 结果 ,该 结果 示 出 大 步 长 下 LMS 滤波 器 的 集 平均 学 
习 曲 线 呈 现 出 不 同 的 收敛 模式 : 

。 初始 模式 : 它 符合 基于 独立 性 假设 的 均 方 理论 。 
”后 来 模式 : 它 是 较 快 的 , 它 用 几乎 可 靠 的 收敛 分 析 来 说 明 , 这 种 分 析 是 建立 在 LMS 算法 以 概率 1 收敛 的 准则 基础 
上 。 
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5.5 LMS 算法 与 最 速 下 降 算 法 的 比较 


在 讨论 这 个 问题 的 时 候 , 利 用 在 第 4 章 所 了 解 的 最 速 下 降 算法 知识 来 看 一 看 随机 输入 下 
的 LMS 算 法 ,将 是 十 分 有 益 的 。 

理想 上 ， 当 横向 滤波 器 的 相关 向 量 w (n) 接近 维 纳 - 霍 夫 方程 所 定义 的 最 优 解 w。 时 ， 
可 获得 最 小 均 方 误 关 Ju。 事 实 上 ， 如 第 4 章 所 示 ， 最 速 下 降 算法 在 迭代 次 数 n 趋 近 无 穷 时 
达到 最 优 。 最 速 下 降 算法 的 这 种 能 力 是 由 于 算法 的 每 一 次 迭代 使 用 精确 的 梯度 向 量 所 致 。 另 
一 方面 ，LMS 算法 依赖 于 对 梯度 向 量 的 瞬 态 噪声 估计 ， 而 且 具 有 如 下 结果 : 较 大 的 抽 头 权 向 
量 估计 w (na) 能 以 布朗 运动 方式 仅仅 围绕 最 优 解 w, 波动 。 因 此 ， 经 过 大 量 迭 代 后 ， 使 用 
LMS 算法 将 导致 均 方 误差 J (0) 大 于 最 小 均 方 误差 Jano J (0) 大 于 J 的 部 分 称 为 额外 
均 方 误差 。 

最 速 下 降 算法 与 LMS 算法 还 有 男 一 个 基本 差别 。 第 4 章 已 经 指出 ,最 速 下 降 算法 有 明确 
定义 的 学 习 曲 线 , 该 曲线 反映 出 均 方 误 差 对 迭代 次 数 的 变化 情况 。 对 于 这 种 算法 ,学 习 曲 线 由 
衰减 指数 和 构成 ,其 数量 一 般 等 于 抽 头 系数 的 个 数 。 另 一 方面 ,在 LMS 算法 的 各 种 应 用 中 ,我 
们 发 现 学 习 曲 线 由 噪声 和 衰减 指数 组 成 。 噪 声 的 幅度 通常 随 着 步 长 参数 w 的 减 小 而 减 小 ;在 
极限 情况 下 ,LMS 滤波 器 的 学 习 曲 线 具有 确定 性 的 特性 。 

考虑 自 适 应 横向 滤波 器 集合 ,每 一 个 都 假设 采用 同样 步 长 参数 j 的 LMS 算法 ,并 用 相同 
的 初始 抽 头 权 向 量 w(0)。 另 外 ,每 一 个 滤波 器 都 有 各 自 各 态 历经 的 平稳 输入 ,这 些 输入 取 自 
同一 个 统计 源 。 通 过 给 出 信 计 误差 e(n) 的 均 方 幅度 与 迭代 次 数 n 的 关系 ,可 画 出 自 适应 滤 
波 器 集 的 噪声 学 习 曲 线 。 为 了 给 出 LMS 算法 的 集 平均 学 习 曲 线 [ 即 画 出 均 方 误差 J(n) 对 nn 
的 曲线 ] ,可 在 自 适应 滤波 器 集 的 基础 上 对 噪声 取 平 均 。 

于 是 ,两 种 完全 不 同 的 集 平均 运算 被 用 在 最 速 下 降 算 法 和 LMS 算法 中 ,以 确定 它们 的 学 
习 曲 线 。 在 最 速 下 降 算法 中 ,通过 采用 抽 头 输入 和 期 望 响应 群 统 计 的 集 平 均 运 算 ,首先 计算 相 
AAS 及 MEHRERE p, 然 后 用 这 些 值 来 计算 算法 的 学 习 曲 线 。 另 一 方面 ,在 LMS 算法 中 ， 
首先 对 具有 相同 参数 的 自 适应 LMS 滤波 器 集 计 算 噪声 学 习 曲 线 ,然后 通过 平滑 噪声 学 习 曲 线 
的 集 平均 得 到 最 终 的 学 习 曲 线 。 当 名 (n) =0 时 , 式 (5.68) 的 零 阶 解 mg (nz) 并 没有 反映 噪声 。 
相反 地 ,噪声 是 由 解 的 高 阶 校正 量 as (z),a(z),… 引 起 的 。 因 为 这 些 高 阶 校正 量 是 零 均 值 
的 , 故 零 阶 解 代表 了 LMS 滤波 器 的 集 平 均 曲线 。 


5.6 自 适应 预测 的 计算 机 实验 


对 于 第 一 项 包含 LMS 算法 的 计算 机 实验 ,我 们 使 用 一 阶 自 回 归 过 程 来 研究 实时 数据 集 平 
均 对 LMS 算法 瞬 态 特征 的 影响 。 
接 下 来 ,考虑 一 阶 AR 过 程 ,其 差分 方程 为 
u(n) = —au(n — 1) + x(n) (5.121) 
这 里 a 是 这 个 过 程 的 参数 ,v(n) 是 零 均值 方差 为 @? 的 白 品 声 。 为 了 估计 参数 4, 我 们 使 用 图 
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5.13 的 一 阶 自 适 应 预测 器 ,预测 器 抽 头 权 值 的 LMS 自 适 应 算法 的 实数 形式 表示 如 下 
wn +1) = wn) + pun — 1)f(n) (5.122) 
其 中 
f(n) = u(n) — w(nju(n- 1), (5.123) 
是 预测 误差 。 





图 5.13 自 适 应 一 阶 预 测 器 


图 5.14 示 出 一 次 简单 实验 中 w(n) 与 迭代 次 数 n 之 间 的 关系 ,实验 涉及 以 下 两 组 条 件 : 


1) AR 参数 ;a = -0.99; 

AR 过 程 x(m) 的 方差 :a* =0.93627。 
2) AR 参数 :a = +0.99; 

AR 过 程 u(n) 的 方差 :o% =0.995。 


在 这 两 种 情况 下 , 步 长 参数 y =0.05, 初始 条 件 为 w(0) =0。 可 以 看 出 w(n) 的 瞬 态 特性 
服从 噪声 指数 曲线 。 图 5.14 也 包含 了 100 次 独立 实验 集 平均 所 得 到 的 E[w(n)] 的 相应 曲 
线 。 对 于 每 一 次 试验 ,AR 过 程 u(n) 采 用 不 同 的 计算 机 实现 。 我 们 看 到 , 集 平均 平滑 了 梯度 
噪声 的 影响 。 

图 5.15 是 在 前 面 规定 的 实验 条 件 1 所 列 AR 参数 集 情况 下 均 方 预测 误差 AXm) 与 迭代 次 
Rn 的 关系 图 ,其 中 jy = 0.05。 由 图 5.15 可 见 ,LMS 算法 单一 实现 的 学 习 曲 线 呈 现 严重 噪声 
的 形式 。 这 幅 图 也 包括 100 次 独立 实验 后 集 平均 得 到 的 EL[f*(n)] 的 相应 图 形 。LMS 算法 学 
习 曲 线 集 平均 的 平滑 效应 再 一 次 看 得 一 清二 楚 。 

图 5.16 是 在 前 面 提 到 的 实验 条 件 1 所 列 AR 参数 以 及 变 步 长 参数 w[ 具 体 来 说 ,所 用 的 u 
为 0.01`\0.05.0.1] 的 情况 下 LMS 算法 的 学 习 曲 线 的 图 形 [ 均 方 误差 J(n) 相 对 于 迭代 次 数 的 
关系 曲线 ]。 而 且 , 集 平均 在 100 次 独立 实验 后 完成 。 从 这 幅 图 ,可 看 到 如 下 结果 : 











0 50 100 150 200 250 300 350 400 
选 代 次 数 
图 5.14 一 阶 自 适应 预测 器 权 值 w(”) 的 瞬 态 特性 (= 0.05) 
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图 5.16 一 阶 自 适应 预测 器 的 实验 学 习 曲 线 ( 变 步 长 参数 yu) 


© 当 步 长 参数 p BUN , LMS 算法 的 收敛 率 相应 减 小 。 
© 步 长 参数 u 的 减 小 也 影响 指数 学 习 曲 线 的 变化 。 


5.6.1 实验 结果 与 小 步 长 理论 的 比较 
利用 式 (5.121) 的 一 阶 (例如 M = 1)AR 过 程 ,我 们 注意 到 眼前 的 如 下 问题 ; 


1) ARS R 是 一 个 具有 特征 谱 的 标量 ,该 特征 谱 由 等 于 o% 的 特征 值 4, 和 等 于 1 的 相 
应 特征 向 量 q 组 成 。 

2) 预测 器 的 抽 头 权 值 的 维 纳 解 w。 等 于 - a。 

3) 最 小 均 方 误差 /等 于 白 噪声 y(n) 的 方差 0% 0 


这 些 数 值 可 总 结 如 下 


à =o 


q= (5.124) 
Ww, = —a 
Jenin = o? 

要 检查 的 第 一 项 是 选择 jy 以 证 实在 第 5.4 节 中 应 用 小 步 长 理论 是 正确 的 。 正 如 前 面 所 

说 明 的 ,通过 选择 一 个 与 1 比较 很 小 的 w 来 满足 上 述 要 求 ,其 中 A, 是 R 的 最 大 特征 值 。 


对 于 这 个 实验 ,Me = Ai。 由 于 A, = 02 , 故 可 通过 选择 jy = 0.001, 使 得 对 于 o, 两 个 特定 的 值 ， 
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小 步 长 理论 的 要 求 得 到 满足 。 在 图 5.17 中 ,我 们 给 出 了 两 对 w(n) 与 n 的 关系 曲线 (jy = 
0.001) ,每 一 对 曲线 对 应 于 不 同 的 参数 。。 一 对 曲线 对 应 于 100 次 独立 实验 的 集 平 均 结果 ,图 
中 用 “实验 ”标记 。 另 一 对 曲线 ,用 “理论 ”标记 ,是 通过 计算 式 (5.81) 得 出 的 ,其 中 初始 条 件 
定义 为 
v(0) = w = ~a ~ (5.125) 

它 通过 令 式 (5.71) 中 的 w(0) =0 得 到 。 于 是 ,我 们 可 写 出 

Elw(n)| = -a + a(1 — po3)" (5.126) 
图 5.17 表明 ,对 于 所 有 的 n ,理论 与 实验 结果 具有 很 好 的 一 致 性 。 
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图 5.17 基于 w(n) 的 理论 与 试验 的 比较 
图 5.18 中 的 学 习 曲 线 再 一 次 证 实 了 小 步 长 理论 。 标 明 “ 实 验 ” 的 实验 曲线 是 100 次 独立 


试验 预测 误差 /(n) 均 方 值 的 集 平均 结果 。 标 记 为 “理论 ”的 理论 曲线 来 自 式 (5.97) 的 计算 结 
果 , 而 且 对 于 眼前 的 问题 , 式 (5.97) 的 最 后 一 行 变 为 


J(n) ~ zi + Ea) + o(a - taa — uo” ni (5.127) 
对 于 一 阶 AR 过 程 , 白 噪 声 y(n) 的 方差 定义 为 [ 见 式 (1.71)] 
o? = oi(1 — a?) (5.128) 


因此 ,在 式 (5.127) 中 使 用 式 (5.128) ,可 得 
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J(n) ~ ot -a (1 + toz) + o(a + + ao? 一 TAK — po?” 小 (5.129) 


图 5.18 的 实验 曲线 的 计算 参数 为 :a = -0.99,00 =0.93627,w =0.001。 从 图 中 可 以 看 出 ,在 
整个 学 习 曲 线 中 ,理论 与 实验 结果 的 一 致 性 非常 好 。 
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和 迭代 次 数 
图 5.18 基于 均 方 误差 的 自 适应 预测 器 的 理论 与 试验 的 比较 (jp =0.001) 


然而 ,使 用 大 的 w 将 极 大 地 影响 理论 与 实验 结果 的 一 致 性 ,特别 是 在 我 们 所 关注 的 LMS 
预测 器 的 收敛 范围 内 。 该 研究 见习 题 23。 


5.7 自 适 应 均衡 的 计算 机 实验 


在 第 二 个 计算 机 实验 中 ,我 们 研究 用 LMS 算法 自 适 应 均衡 引起 (未 知 ) 失 真 的 线性 色散 信 
道 问题 。 这 里 再 一 次 假设 数据 是 实数 的 。 图 5. 19 表示 用 来 进行 该 项 研究 的 系统 框图 。 随 机 
数 发 生 器 1 产生 用 来 探测 信道 的 测试 信号 x, ;而 随机 数 发 生 器 2 用 来 干扰 信道 输出 的 白 噪声 
源 "(n)。 这 两 个 随机 数 发 生 器 是 彼此 独立 的 。 自 适应 均衡 器 用 来 纠正 存在 加 性 白 噪声 的 信 
道 的 畸变 。 经 过 适当 延迟 ,随机 数 发 生 器 1 也 提供 用 做 训练 序列 的 自 适 应 均衡 器 的 期 望 响应 。 

加 到 信道 输入 的 随机 序列 | x.} 由 伯 努 利 (Bemoulli) 序 列 组 成 ,x, = +1, 随 机 变量 x, 具有 
零 均值 和 单位 方差 。 信 道 的 脉冲 响应 用 升 余弦 9 表示 为 





D 实验 中 的 参数 严格 按照 Satorius 和 Alexander(1979) 的 方法 选取 。 
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h, = Eo- n= 1,2,3 (5.130) 


等 价 地 ,参数 W HE till ae ae TSK A A CAE A x(R) ,并 且 特 征 值 分 布 随 着 Ww 
的 增 大 而 扩大 。 随 机 数 发 生 器 2 产生 的 序列 v(n) 具 有 零 均值 ,方差 为 oz =0.001。 





e(n) 





随机 噪声 
发 生 器 (2) 


图 5.19 自 适 应 均衡 试验 的 框图 


均衡 器 具有 M = 11 个 抽 头 。 由 于 信道 的 脉冲 响应 h, 关于 n=2 时 对 称 , 如 图 5.20(a) 所 
未 ,那么 均衡 器 的 最 优 抽 头 权 值 wa En = 5 时 对 称 ,如 图 5.20(b) 所 示 。 因 此 ,信道 的 输入 x。 
被 延 时 了 A=2+5=7 个 样 值 ,以 便 提供 均衡 器 的 期 望 响 应 。 通 过 选择 匹配 横向 均衡 器 中 点 的 
合适 延 时 A, LMS 算法 能 够 提供 信道 响应 的 最 小 相位 分 量 和 非 最 小 相位 分 量 之 逆 。 


| 
0 1 2 3 4 n 


(a) 信道 脉冲 响应 


Won 
0 
5 10 n 


(b) 最 优 横向 均衡 器 的 脉冲 响应 
图 5.20 均衡 器 脉冲 响应 分 析 图 


实验 分 为 相同 的 两 个 部 分 ,用 来 估计 基于 LMS 算法 的 自 适应 均衡 器 的 响应 ,以 便 改变 特 
征 值 扩散 度 X(R) 与 步 长 参数 w。 在 描述 这 个 结果 之 前 ,我 们 首先 计算 11 个 抽 头 均衡 器 相关 
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矩阵 R 的 特征 值 。 
5.7.1 均衡 器 输入 的 相关 矩阵 
在 时 刻 n, 均 衡器 第 1 个 抽 头 输入 为 
u(n) = S mxn — k) + x(n) (5.131) 


其 中 所 有 参数 均 为 实数 。 因 此 ,均衡 器 输入 的 11 MS u(n),u(n-1),°, u(n —- 10) KH 
阵 及 是 一 个 对 称 的 11 x 11 矩阵。 此 外 ,因为 其 脉冲 响应 h, 仅 当 n= 1,2,3 MAES, BB 
声 过 程 y(n) 是 零 均 值 方 差 为 o, 的 白 噪声 ,因此 相关 和 矩阵 R 是 主 对 角 线 (quintdiagonal) 的 , 即 
矩阵 及 在 主 对 角 线 及 其 上 下 紧密 相 邻 的 两 条 (分 居 两 侧 , 共 4 条 ) 对 角 线 上 的 元 素 是 非 零 的 ， 
如 以 下 特殊 结构 所 示 


r(0) r(1) r(2) 0 0 
r(1) r(0) r(1) r(2) - 0 
_| r(2) r(1) r(0) r1) - 0 
R= 0 (2) rD O … 0 (5.132) 
0 0 0 0 #0) 
其 中 
r(0) = h? + k + WB + o 
r(1) = hih, + hshs 
和 


r(2) = hıh; 
方差 为 o =0.001。 因 此 ,hi ,j ,hs 由 赋予 式 (5.130) 的 参数 下 的 值 来 确定 。 
表 5.2 中 列 出 :(1) 自 相关 函数 r(1),1 =0,1,2 的 值 ; (2) 最 小 特征 值 *, ,最 大 特征 值 
A max ;特征 值 扩 散 度 Y(R) = 4%/4sm。 由 表 可 见 ,这 些 特征 值 扩散 度 范围 为 6.0782( W = 2.9) 3) 
46.8216(W=3.5)。 
表 5.2 自 适应 均衡 实验 参数 小 结 





Ww 2.9 3.1 3.3 3.5 

r(0) 1.0963 1.1568 1.2264 1.3022 
r(1) 0.4388 0.5596 0.6729 0.7774 
r(2) 0.0481 0.0783 0.1132 0.1511 
Amin 0.3339 0.2136 0.1256 0.0656 
Armax 2.0295 2.3761 2.7263 3.0707 


x(R) = Agar! Amin 6.0782 11.1238 21.7132 46.8216 


实验 1: 特征 值 扩散 度 的 影响 


实验 的 第 一 部 分 , 步 长 参数 固定 为 w = 0.075。 选 择 这 个 值 的 根据 是 : 步 长 参数 p 必须 小 
于 /Mu ,其 中 Mo 表示 相关 矩阵 R 的 最 大 特征 值 (实际 上 ,用 在 实验 中 的 所 有 3 个 步 长 参数 都 
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满足 这 个 要 求 )。 

对 于 每 一 个 特征 值 扩 散 度 ,经 过 200 次 独立 计算 机 实验 ,通过 对 瞬时 均 方 误差 (n) n 
的 关系 曲线 平均 ,可 获得 自 适应 滤波 器 的 集 平均 学 习 曲 线 。 这 个 计算 结果 如 图 5.21 所 示 。 由 
图 可 见 ,特征 值 扩散 度 变 化 范围 的 扩大 降低 了 自 适应 均衡 器 的 收敛 速率 ,同时 也 提高 了 平均 平 
方 误差 的 稳 态 值 。 例 如 , 当 x(R) = 6.0782 时 , 自 适应 滤波 器 以 平方 方式 收敛 大 约 要 80 WE 
代 ,500 次 选 代 后 平均 均 方 误差 值 大 约 等 于 0.003; 另 一 方面 , 当 X( 了 R) = 46.8216 时 ( 即 均衡 器 
输入 处 在 不 怡 当 的 条 件 下 ) ,均衡 器 在 均 方 意义 上 收 义 大 约 要 200 次 迭代 ,500 次 迭代 后 平均 平 
方 误差 值 大 约 等 于 0.04。 
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图 5.21 11 抽 头 的 自 适应 均衡 器 LMS 算法 的 学 习 曲 线 [w =0.075, 改 变 特征 值 扩散 度 x(R)] 


在 图 5.22 中 ,对 于 四 个 感 兴趣 的 特征 值 分 布 ,我 们 画 出 了 1 000 次 迁 代 后 自 适 应 均衡 器 的 
集 平均 脉冲 响应 。 这 个 结果 基于 200 次 独立 试验 。 我 们 看 到 ,在 每 种 情况 下 自 适应 均衡 器 的 
脉冲 响应 关于 中 心 抽 头 对 称 ,这 正 是 我 们 所 希望 的 。 从 一 个 特征 值 扩 散 度 到 另 一 个 特征 值 扩 
散 度 ,其 脉冲 响应 的 变化 仅仅 反映 信道 脉冲 响应 相应 变化 的 影响 。 


实验 2: 步 长 参数 的 影响 


对 于 实验 的 第 二 部 分 , 式 (5.130) 的 参数 固定 为 3.1, 从 而 均衡 器 抽 头 输入 相关 和 矩阵 的 特征 
值 扩散 度 为 11.1238。 步 长 参数 u 分 别 取 为 0.075、0.025、0.0075。 

图 5.23 示 出 计算 的 结果 。 与 前 面 一 样 ,每 一 条 学 习 曲 线 都 是 瞬 态 均 方 误差 e(n) nW 
关系 曲线 经 过 200 次 独立 试验 后 得 到 的 集 平均 结果 。 
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图 5.22 ”四 个 不 同 特 征 值 扩散 度 的 自 适应 均衡 器 的 集 平均 脉冲 响应 (1 000 次 和 迭代) 
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图 5.23 当 图 定 特征 值 扩 散 度 ,改变 步 长 参数 o 时 11 抽 头 自 适应 均衡 器 LMS 算法 的 学 习 曲 线 
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这 个 结果 证 明了 自 适应 均衡 器 的 收敛 速率 在 很 大 程度 取决 于 步 长 参数 w。 当 步 长 参数 较 
大 时 (如 jy = 0.075) ,均衡 器 收敛 到 稳 态 需 120 次 迭代 。 当 jy 较 小 时 (如 u = 0.0075) ,收敛 速率 
降低 超过 一 个 数量 级 。 该 结果 也 表明 平均 均 方 误 差 的 稳 态 值 随 着 w 的 变 大 而 增 大 。 


5.8 最 小 方差 无 失真 响应 波束 形成 器 的 计算 机 实验 


对 于 最 后 一 个 实验 ,我 们 考虑 LMS 算法 应 用 于 最 小 方差 无 失真 响应 (MVDR, minimum- 
variance distortionless-response) 波 束 形 成 器 的 情况 , 它 由 5 个 完全 一 样 的 空间 传感器 (如 天 线 ) 的 
线性 阵列 组 成 ,如 图 5.24 所 示 。 相 邻 两 个 阵列 的 距离 等 于 接收 波长 的 一 半 以 避免 栅栏 波状 的 
出 现 。 波 束 形成 器 工作 的 环境 包含 两 个 分 量 : 对 感 兴趣 方向 上 阵列 产生 影响 的 目标 信号 和 来 
自 未 知 方向 的 单一 干扰 源 。 假 设 这 两 个 分 量 来 自 独立 的 信 源 ,而 且 接 收 信和 号 包括 每 一 个 传 感 
器 输出 端的 加 性 白 高 斯 噪声 。 

这 个 实验 的 目标 包括 两 个 方面 ; 

© 在 给 定 的 目标 - 信 品 比 下 ,考察 MVDR 波束 形成 器 的 自 适应 空间 响应 随时 间 的 演变 。 

© 计算 目标 -噪声 比 对 波束 形成 器 零 干 扰 性 能 变化 的 影响 。 

FR 
目标 


a 
图 5.24 线性 阵列 天 线 
若 相 对 于 阵列 线 的 法 线 方向 用 弧度 来 度量 , 则 目标 信和 号 与 干扰 信号 人 射 角度 可 表示 为 
@ 目标 信和 号 
Prarget = sin! (—0.2) 
e 干扰 
Pintert = sin! (0) 
调整 自 适应 MVDR 波束 形成 器 权 向 量 的 LMS 算法 的 设计 在 第 1.8 节 已 经 介绍 过 。 对 于 
眼前 的 应 用 ,增益 向 量 g = 1o 
图 5.25 给 出 了 信 噪 比 为 10 dB 改变 干扰 噪声 比 (INR, interference-to-noise ratio) ANKA 
时 MVDR 波束 形成 器 的 自 适 应 空间 响应 。 空 间 响 应 的 定义 为 20 logo Iw” (n)s(@) |?, HP 


s(0) = [1, ej eT, e730 ete]? 
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是 转向 向 量 。 用 弧度 表示 的 电 角 度 9 与 人 射 角 中 的 关系 为 

6= nsing (5.133) 
当 步 长 参数 分 别 为 上 = 107° 10°? 10°", BP INR = 20,30,40 dB 时 波束 形成 器 的 权 向 量 w(n) 利 
用 LMS 算法 进行 计算 。 变 化 步 长 参数 u 是 为 了 保证 在 给 定 干扰 噪声 比 情况 下 算法 收敛 。 
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E 5.25 ” 当 改 变 干扰 噪声 比 (INR) AAA MVDR 波束 形成 器 的 自 适应 空间 响应 : 
(a)n =20; (b)n = 100;(c)n=200。 图 中 每 一 部 分 干扰 噪声 比 假 设 为 三 者 之 一 。 
其 中 (a) 的 迭代 数 太 少 以 致 对 这 些 变 化 没有 显著 影响 


图 5.26 表示 经 过 20 次 .25 次 和 30 次 迭代 后 MVDR 波 东 形成 器 的 自 适 应 空间 响应 。 图 中 
三 条 曲线 的 条 件 为 ;INR = 20 dB, 固 定 信 噪 比 为 10 dB。 
ER 5.25 和 图 5.26 的 基础 上 ,我 们 可 得 如 下 观察 结果 : 


© MVDR 波束 形成 器 的 自 适 应 空间 响应 通常 被 固定 在 沿 着 给 定 的 人 射 角 te = 
sin™'( -0.2) 为 0 dB 的 地 方 。 
© 波束 形成 器 的 零 干 扰 容量 随 着 (a) 和 迭代 次 数 增 加 和 (b) 干 扰 目标 信号 比 的 增 大 而 改善 。 


5.9 非 自 噪声 输入 时 LMS 算法 收敛 的 方向 性 


横向 滤波 器 抽 头 输入 相关 和 抢 阵 R 的 特征 值 结构 对 LMS 算法 的 收敛 有 显著 影响 。 当 抽 头 
输入 来 自 于 特 噪 声 过 程 时 ,它们 不 相关 ,而 且 相 关 和 矩阵 R 的 特征 值 扩 散 度 X( 及 ) 为 1,LMS 算法 
具有 无 方向 性 的 收敛 特性 。 在 另 一 极端 , 抽 头 输入 高 度 相关 、 且 特征 值 扩 散 度 X(R) 较 大 时 , 它 
通常 发 生 在 非 白 品 声 输入 情况 下 ,LMS 算法 的 收敛 性 (类 似 于 最 速 下 降 算法 ) 呈 现 出 方向 性 。 
而 且 在 这 种 情况 下 ,初始 化 在 决定 收敛 速率 方面 起 着 重要 作用 。 事 实 上 , 正 是 这 些 因 素 的 结合 
导致 了 图 5.21 中 自 适应 均衡 相当 慢 的 收敛 速率 。 
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E 5.26 {ÈRE = 10 dB, FHRA HE = 20 B ERB BH 1078, 
迭代 次 数 变 化 时 MVDR 波束 形成 器 的 自 适应 空间 响应 


LMS 算法 在 韭 白 色 输 入 下 呈现 出 的 收敛 方向 性 了 表现 如 下 : 
1) 在 算法 权 值 空间 的 特定 方向 上 ,收敛 的 速度 比 其 他 方向 快 。 
2) 取 决 于 算法 收敛 所 沿 的 方向 ,通过 增 大 特征 值 扩 展 有 可 能 加 速 收敛 。 
关于 这 两 个 方面 的 收敛 方向 性 ,可 用 下 列 例 子 来 说 明 : 
考虑 两 抽 头 横向 滤波 器 ,其 正确 的 抽 头 向 量 ( 即 维 纳 解 ) 为 w,。 抽 头 输入 u(n) 和 wu(n -1) 从 包 
含 两 个 正弦 的 确定 性 过 程 中 得 到 ,其 根据 是 如 下 公式 
u(n) = A,cos(w,n) + 4a cos(æn) (5.134) 
其 中 w, 和 o 是 两 个 正弦 的 角 频 率 ,4, 和 A, 是 对 应 的 幅度 。 抽 头 输入 的 相关 和 矩阵 为 
R= [zew] Elu(n — Deol] 
Elu(n)u(n — 1)] Elw(n— 1)] 


(5.135) 


_ 1 | Aj + Aj Aicosw, + AZ cos a 


2 Ps + Aĝžcosa, A? + A} ] 
TEP 2 x 2 EREN , AERE C AY REER EEEN 


D 本 节 介绍 的 材料 基于 LeBlanc, J.P. 1995 的 私人 通信 ,[ 亦 可 参见 Claesson F (1991) ] 。 


1 
A, = = A7(1 + coso) + 341 + cos w) qı = [1,17 (5.136) 


1 
2 


1 
Ay = 5 Ai(1 — cosy) + 5 A3(1 — cosa) — qa = [1,1] (5.137) 


下 面 ,我 们 研究 LMS 算法 的 收敛 性 ,其 技术 条 件 如 下 : 

步 长 参数 jy =0.01 

初始 条 件 w(0) = [0,0]” 

BIER REL n = 200 

特别 地 ,我 们 考虑 两 个 不 同 的 滤波 器 和 两 个 不 同 的 输入 。 一 个 滤波 器 是 最 小 特征 滤波 器 ， 
其 抽 头 权 向 量 由 与 相关 矩阵 R 最 小 特征 值 ( 即 % ) 对 应 的 特征 向 量 由 来 定义 ,而 另 一 个 滤波 器 
是 最 大 特征 滤波 器 ,其 抽 头 权 向 量 由 与 相关 矩阵 R 最 大 特征 值 ( 即 N ) 对 应 的 特征 向 量 q 来 定 
义 。 两 个 输入 分 别 为 

u(n) = cos(1.27) + 0.5cos(0.17) 
和 
u,(n) = cos(0.6n) + 0.5 cos(0.23n) 
第 一 个 输入 的 特征 值 扩散 度 为 x(R) =2.9, 而 第 二 个 输入 的 特征 值 扩散 度 为 (R) = 12.9. A 
此 ,存在 四 种 不 同 组 合 。 下 面 ,考虑 两 种 情况 : 
情况 1: 最 小 特征 滤波 器 
在 这 种 情况 下 ,横向 滤波 器 正确 的 抽 头 权 向 量 为 
Wo = @ = [-1, 177 
这 里 ,在 输入 w,(n) 时 ,从 w(0) = [0,0]" 开始 ,LMS 算法 的 收敛 沿 着 “ 慢 " 的 轨迹 进行 ,在 算法 
的 200 次 迭代 中 ,穿越 滤波 器 正确 参数 化 的 大 约 一 半路 程 ,如 图 5.27(a) 所 示 。 

下 面 ,选择 输入 信号 作为 u(n), HA (za) 时 特征 值 扩 散 度 x(R) 为 2.9 相 比 ,此 处 
特征 值 扩 散 度 X(R) 为 12.9。 如 图 5.27(b) 所 示 ,特征 值 扩散 度 的 增 大 可 由 误差 平面 轮廓 偏心 
度 的 增加 显现 出 来 。 比 较 图 5.27(b) 与 图 5.27(a) 可 以 看 出 ,在 情况 1 中 ,由 于 特征 值 扩散 度 
x(R)( 范 围 ) 的 扩大 ,LMS 算法 的 收敛 性 变 慢 。 

情况 2: 最 大 特征 滤波 器 

在 这 种 情况 下 ,正确 的 抽 头 权 向 量 为 

wo = q 7 [1,1] 
恢复 输入 u(n), LMS 算法 的 收敛 沿 着 “ 快 " 的 轨迹 进行 , 穿 过 误差 曲面 的 轮廓 ,如 图 5.28(a) 所 
示 。 此 外 , 当 使 用 输入 信号 wu (n) 时 ,由 于 特征 值 扩 散 度 COR) (范围 ) 的 增 大 ,LMS 算法 的 收敛 
加 快 ,如 图 5.28(b) 所 示 。 

在 这 个 例子 中 ,初始 值 w(0) 是 固定 的 ,但 正确 的 抽 头 权 向 量 w, 从 情况 1 变 到 情况 2。 在 
LMS 算法 应 用 于 平稳 输入 的 通常 情况 下 ,正确 的 抽 头 权 向 量 w, 是 一 个 未 知 的 固定 值 。 对 于 
某 个 固定 的 w, ,可 对 该 例子 等 效 地 规定 初始 条 件 如 下 
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a(o) = 位 -q 对 情况 1 (最 小 特征 滤波 器 ) 
wa ”对 情况 2 (最 大 特征 滤波 器 ) 
因此 ,根据 这 个 例子 的 结果 ,通过 选择 合适 的 初始 条 件 多 (0) ,可 利用 LMS 算法 的 收敛 广 
向 性 ,使 得 算法 沿 着 “ 快 "的 轨迹 进行 。 当 然 ,必须 假设 LMS 算法 运行 环境 的 先 验 知识 可 用 。 
在 这 种 情况 下 ,LMS 算法 很 好 地 起 到 “调整 "横向 滤波 器 抽 头 权 值 的 作用 。 








Ww, 


(a) SRA u(n) 时 








(b) 当 输入 u(n) 时 


图 5.27 ”对 于 确定 性 正弦 过 程 ,LMS 算法 沿 着 “ 慢 “ 特 征 向 量 ( 即 最 小 特征 滤波 器 ) 收 敛 
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2 N 
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Ty 


1 
(a) 当 输 入 u(n) 时 





(b) HWA u(n) 时 


图 5.28 对 于 确定 性 正弦 过 程 ,LMS 算 法 沿 着 “ 快 “特征 向 量 ( 即 最 小 特征 滤波 器 ) 收 敛 


5.10 LMS 滤波 器 的 鲁 棒 性 : H” 准则 


第 5.2 节 所 介绍 的 LMS 滤波 器 的 推导 是 采用 启发 式 进行 的 , 它 从 最 速 下 降 算 法 出 发 ,并 
以 此 作为 计算 自 适应 模 向 滤波 器 维 纳 解 的 基础 。 然 而 ,一 旦 在 这 项 研究 中 引用 自 相 关 和 矩阵 和 
互相 关 向 量 的 瞬 态 估计 ,它们 与 隐 含 在 维 纳 解 中 最 小 均 方 估计 的 联系 将 被 破坏 。 如 果 LMS yë 
波 器 在 均 方 误差 意义 上 的 “单一 "实现 不 是 最 优 的 ,那么 ,什么 是 其 最 优 的 实际 准则 呢 ? 为 了 回 
答 这 个 基本 问题 ,我 们 提出 两 个 有 关 的 问题 


1) 在 关注 LMS 滤波 器 的 单一 实现 时 ,我 们 避免 采用 第 5.4 节 所 做 的 关于 统计 LMS 理论 的 


第 5 章 最 小 均 方 自 适 应 滤波 235 


统计 假设 ;因而 采用 确定 性 方法 。 
2) 我 们 需要 一 个 适合 确定 性 估计 问题 的 最 优 准则 。 
为 了 处 理 第 1 个 问题 ,假设 有 一 组 观测 数据 ,这 些 数据 适合 如 下 多 重 自 回归 模型 
d(n) = wiu(n) + v(n) (5.138) 
其 中 w 是 一 未 知 参数 向 量 ,v(n) 是 一 个 用 来 说 明 系 统 损伤 的 各 种 未 知 干扰 , 它 包括 : 
o 由 于 使 用 非 理 想 传感器 所 引起 的 测量 噪声 。 
o 建 模 误差 :例如 ,观测 数据 的 正确 模型 可 能 是 IIR 系统 ,而 且 忽 略 了 模型 脉冲 响应 的 尾 
端 以 适应 使 用 式 ($.138)FIR 模型 的 需要 。 
e 来自 未 知 干扰 源 的 其 他 干扰 。 
式 (5.138) 与 式 ($.66) 具 有 相同 的 数学 形式 ,但 对 于 参数 向 量 和 噪声 使 用 不 同 的 符号 ,以 强调 
此 处 采用 的 方法 不 同 于 第 5.4 节 的 随机 方法 。 特 别 地 ,不 需要 对 v(n) 的 统计 特征 做 出 假设 。 
下 面 , 转 到 第 2 个 问题 , 令 w(n) 表 示 未 知 参数 向 量 w 的 递归 估计 。 通 过 对 i < n 处 理 所 
有 的 输入 向 量 和 期 望 响应 {u(i) , d (| 来 获得 这 样 的 估计 。 此 外 ,注意 递归 估计 wln) 是 严格 
因果 的 ,对 于 LMS 滤波 器 的 情况 ,这 一 点 从 式 (5.5) 看 得 很 清楚 。 权 值 误差 向 量 g(n) 定 义 为 
e(n) =w- (n) (5.139) 
典型 地 ,初始 值 w(0) 不 同 于 w 。 因 此 ,在 评价 递归 估计 策略 时 ,要 考虑 如 下 两 种 干扰 
9 初始 加 权 误差 向 量 








e(0) = w — W(0) 
e 多 重 回归 模型 中 的 加 性 干扰 y(n) 


令 5 表 示 转 移 算 子 (transfer operator) , 它 将 递归 估计 策略 的 输入 端 干扰 映射 为 输出 端的 佑 
计 误差 ,如 图 5.29 所 示 。 注 意 5 是 一 个 用 来 构造 w(m) 的 估计 策略 函数 ,因此 我 们 可 把 估计 器 
的 能 量 增 益 定义 为 输出 端 误差 能 量 与 输入 端 总 于 扰 能 量 之 比 。 很 明显 ,这 种 比值 取决 于 输入 
干扰 的 特殊 选择 。 为 了 取消 这 种 依赖 性 ,我 们 考虑 基于 所 有 可 能 干扰 序列 的 最 大 能 量 增益 。 
为 此 ,定义 转移 算 子 5 的 有 " 范 数 。 现 在 ,我 们 可 将 最 优 A” 估计 问题 表述 如 下 
寻找 一 个 能 够 使 5 的 及" 范 数 最 小 化 的 因果 估计 器 ,其 中 5 是 一 个 将 干扰 映射 为 估计 误差 
的 转移 算 子 。 





图 5.29 最 优 A” 估计 问题 的 表示 (图 中 ,转移 算 子 输出 的 通用 估计 
误差 可 以 是 权 值 误差 向 量 \ 未 受 损伤 的 输出 误差 等 ) 





O LMS 滤波 器 的 #8” 最 优 性 首先 在 Hassibi 等 (1993,1996) 的 论文 中 讨论 过 。 在 Sayed 和 Kailath( 1994), Sayed 和 Rupp(1997) 论 
文中 也 概略 地 讨论 过 。 第 5.10 节 介绍 的 理论 应 用 于 标准 LMS 滤波 器 ;也 可 以 用 多 种 方式 加 以 推广 (如 第 6 章 讨论 的 归 一 
化 LMS 滤波 器 )。 这 里 要 注意 的 是 A” 最 优 估计 器 并 不 是 惟一 的 ,LMS 滤波 器 只 是 所 谓 的 中 心 解决 方案 。 
尽管 有 关 H” 理论 的 书籍 颇 多 ,然而 , Hassibi 等 (1999) 的 书 给 出 了 估计 / 自 适 应 滤波 的 一 个 透视 。 
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所 找到 的 He 最 优 估计 器 具有 最 大 最 小 值 (minimax) 特 性 。 更 详细 地 ,在 如 下 意义 上 ,我 们 可 将 
玉 " 最 优 估计 问题 看 做 游戏 理论 问题 :作为 反方 ,自然 可 以 接 人 未 知 干扰 ,因此 能 量 增益 最 大 
化 。 另 一 方面 ,设计 者 可 以 选择 因果 估计 器 使 得 能 量 增益 最 小 化 。 因 为 这 里 没有 对 干扰 做 出 
假设 , 故 8” 估 计 器 要 考虑 所 有 可 能 的 干扰 。 因 此 ,这 样 的 估计 器 可 能 “过 分 保守 ”, 即 它 是 一 
个 “最 坏 情 况 ” 的 估计 器 。 

下 面 , 我 们 来 证 明 ,在 H AXLE LMS 滤波 器 是 一 个 最 优 估计 器 。 

作为 与 加 权 误差 向 量 s(n) 直接 有 关 的 可 测 误差 信号 ,我 们 引入 无 干扰 估计 误差 ,或 无 干 
扰 误 差 信 号 的 概念 , 它 定义 为 

gln) = (w — Wn)) u(n) 
= e”(n)u(n) 

“无 干扰 ”项 用 上 标 u 表示 ,其 目的 是 为 了 与 式 (5.7) 的 估计 误差 e(n) 相 区 别 。 特 别 地 , E, (n) 
将 滤波 器 响应 Ww” (n)u(n) 与 式 (5.138) 的 回归 模型 的 “无 干扰 ”响应 wiu(n)[ 而 不 是 期 望 响应 
ad(n)] 相 比较 。 实 际 上 ,由 定义 式 (5.7) 和 式 (5.140) 可 知 ,两 个 估计 误差 &,(n) 与 e(n) 的 关系 
为 


(5.140) 


Eu(m) = e(n) 一 v(n) (5.141) 
其 中 v(m) 是 多 重 回归 模型 的 加 性 干扰 。 

为 了 计算 任意 估计 器 的 A” 范 数 ,需要 计算 从 干扰 到 式 (5.140) 的 无 干扰 估计 误差 的 最 坏 
能 量 增益 。 为 了 得 到 能 量 增 益 的 界 ,我 们 对 内 积 a*”(n)ua(n) 使 用 柯 西 - 许 瓦 获 (Cauchy-Schwarz) 
不 等 式 。 为 了 表述 这 个 不 等 式 ,考虑 两 个 复 向 量 a 和 ob 的 内 积 。 柯 西 - 许 瓦 区 不 等 式 指出 ,内 
积 ab MIZE AA EF || all ll bl , 即 


lab) < al lib] 
对 于 眼前 的 问题 ,我 们 有 
a = e(n) 
及 
b = u(n) 
从 而 ,把 柯 西 - 许 瓦 茨 不等式 用 于 现 有 问题 , 即 得 
le” (ula) < heua? 
或 等 效 地 ,根据 式 (5.140) ,有 
E&F < he lua)? (5.142) 
下 面 ,假定 选取 一 个 正 实数 y, 使 它 满足 如 下 条 件 
1 
O<pu< Tui? 
很 明显 ,如 果 该 条 件 成 立 , 式 (5.142) 的 不 等 式 可 重 写 为 


E&F S ulel)? (5.143) 
事 际 上 ,可 进一步 做 如 下 工作 ;假设 式 (5.143) 的 不 等 式 对 于 任意 估 值 w(m) 成 立 ,如 果 不 


第 5 章 最 小 均 方 自 适应 滤波 237 


等 式 的 右边 再 增加 一 个 干扰 的 幅度 平方 项 1y( mn)12 , 式 (5.143) 仍 然 成 立 。 即 
E&F < uhel) + in)? (5.144) 
它 把 干扰 v(n) 引 入 本 问题 内 。 
在 以 上 讨论 中 ,我 们 还 没有 说 到 如 何 计算 估 值 w(m)。 现 在 使 用 正 实数 y 作为 步 长 参数 
的 LMS 滤波 器 来 关注 这 个 问题 。 式 (5.8) 定 义 了 估 值 Ww(m) 的 更 新 公式 。 利 用 该 式 ,很 容易 证 
W: RE pe NF U a(n) 1 ; 则 在 式 (5.144) 左 边 增加 一 项 pe! ll eln +1) ?后 , 式 (5.144) 的 
不 等 式 将 变 得 紧 致 (其 证 明 参 见习 题 17)。 于 是 ,该 紧 致 不 等 式 为 
weln + DF + JEDE S alee + |v(n)? (5.145) 
它 包 括 了 所 有 的 变量 和 感 兴趣 的 参数 。 
当 自 适应 滤波 过 程 进行 时 ,输入 向 量 u(n) 自 然 随 着 离散 时 间 on 变化 。 假 设 我 们 从 mn = 0 
的 初始 条 件 w(0) 出 发 ,迭代 N 次 LMS 算法, 则 产生 一 系列 估计 Ww(1) ,Ww(2),...,W(CN)| 及 对 
应 的 无 于 扰 估 计 误 差 1&,(1) , 8 (2),...,&(N)|。 注 意 , 上 述 算 法 是 因果 的 ,所 以 n=0 之 前 
不 存在 响应 。 则 两 个 因果 序列 的 所 有 元 素 都 满足 式 (5.145) ,只 要 对 于 任意 整数 NN, 步 长 参数 
x 满足 如 下 条 件 


O0<p< min 一 一 一 5.146 
15n<N lua)? ( ) 


根据 输入 信和 号 能 量 || ua(n) |? 的 定义 ,我 们 有 
lua)? = la — DP + ea 
从 而 
lan) = fala -1 
其 中 当 且 仅 当 w(n) 为 零 时 等 式 成 立 。 由 此 可 见 , 根 据 式 (5.146) , 步 长 参数 u 是 时 变 的 0?。 从 
一 次 迭代 到 下 一 次 迭代 , 步 长 参数 下 降 ,并 以 概率 接近 1。 而 且 , 式 (5.146) 对 步 长 参数 yx 强加 
的 条 件 十 分 不 同 于 式 (5.117) 的 条 件 , 它 假设 长 LMS 滤波 器 在 均 方 意义 上 收敛 。 


如 果 关 于 步 长 参数 u 的 式 (5.146) 条 件 成 立 , 则 从 初始 条 件 Ww(0) 出 发 而 且 在 0<n<N-1 
范围 内 对 式 (5.145) 的 不 等 式 两 边 求 和 , 可 得 


N-1 > N-1 a 
B'le)? + Slum)? <a the (O)I? + È þ(n)| 
很 明显 ,如 果 不 等 式 成 立 , 必 有 
N-1 N-i 
之 EF pe (OP + ZF (5.147) 


令 7 (pe )RRERBBA p 的 LMS 滤波 器 的 最 大 能 量 增 益 。 则 利用 式 (5.147) 可 以 写 出 





O 根据 式 (5.146) 步 长 参数 u 随和 迭代 次 数 增加 而 减 小 ,使 我 们 想起 LMS 算法 与 随机 逼近 之 间 的 关系 (Robbins & Monro, 
1951 ; Sakrison, 1966) , 它 定 义 为 


Wn +1) = WA) + ~ u(nyer(n) 


这 里 Un 起 着 步 长 参数 的 作用 。 
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y(u) = sup, a 
mee aeo + SbF 


其 中 P 表示 所 有 平方 可 求 和 的 因果 序列 (square-summable causal sequences ) 692 [i] , “sup” #278 
上 确 界 (supremum)。 式 (5.148) 的 分 母 表示 总 干扰 能 量 , 它 包 括 两 个 部 分 :yy l elo) Il? 是 由 


初始 条 件 w(0) 引 起 的 干扰 能 量 , 互 | vn)? 是 多 重 回归 模型 中 干扰 v(n) 的 能 量 。 式 (5.148) 
的 分 子 是 LMS 滤波 器 产生 的 无 干扰 估计 误差 所 (mn ) 的 能 量 。 
式 (5.147) 具 有 重要 的 实际 解释 : 


如 果 IMS 滤波 器 的 步 长 参数 p 满足 式 (5.146) 条 件 , 无 论 多 重 回归 模型 未 知 参 数 向 量 w 
的 初始 权 向 量 W(0) 如 何不 同 ,也 无 论 加 性 干扰 y(n) 的 大 小 ,LMS 滤波 器 的 输出 误差 能 量 
不 会 超出 滤波 器 输入 端的 两 个 干扰 能 量 ,而 这 两 个 干扰 能 量 是 由 如 下 两 方面 产生 的 : (1) 
初始 条 件 W(0) 的 选择 ;(2) 和 干扰 v(n) 的 存在 。 


这 有 段 解释 说 明了 LMS 滤波 器 鲁 棒 性 的 原因 ,因为 在 面 对 影 响 滤波 器 运行 不 可 避免 的 干扰 情况 
下 , 它 力图 估计 未 知 参数 向 量 w, 

由 式 (5.147) 和 式 (5.148) 容 易 看 出 

Y(H)S1 对 于 0 < < miD, ome 以 及 任意 整数 六 (5.149) 

于 是 ,可 以 证 明 LMS 滤波 器 最 大 能 量 增益 以 1 为 界 ;换言之 ,估计 误差 能 量 永远 不 会 超过 
于 扰 能 量 。 令 人 惊奇 的 事实 是 :LMS 滤波 器 的 最 大 能 量 增 益 精 确 为 1。 此 外 也 表明 ,不 存在 最 
大 能 量 增益 严格 小 于 1 的 其 他 滤波 器 。 这 意味 着 LMS 滤波 器 是 H 意义 上 最 优 的 。 

为 了 证 明 LMS 滤波 器 的 这 个 特性 ,我 们 引入 一 个 干扰 序列 ,使 得 对 于 任何 滤波 器 ,其 最 大 
能 量 增益 能 够 任意 接近 于 1。 为 此 ,想像 一 个 干扰 v(n) ,使 得 满足 如 下 设置 

v(n) = —&,(1) ”对 所 有 n 

乍 一 看 ,这 个 条 件 似乎 是 不 现实 的 。 然 而 , 它 的 确 是 可 能 的 ,因为 它 处 于 式 (5.138) 所 述 干扰 
v(n) 的 无 约束 模型 范围 内 。 在 这 种 特殊 设置 下 ,容易 从 式 (5.141) 推 知 :对 于 所 有 n,e(n)=0。 

现在 不 难看 出 , 当 误 差 信号 eln) = 0 时 ,能 得 到 有 界 的 最 大 能 量 增益 的 任何 滤波 器 都 不 
会 改变 它 对 未 知 权 向 量 w 的 估计 。( 和 否则 , 当 干 扰 能 量 为 0 时 ,我 们 将 得 到 非 零 的 估计 误差 ， 
这 将 导致 无 限 能 量 增 益 。) 因 此 ,对 于 这 个 特定 干扰 和 能 够 获得 最 大 有 限 能 量 增益 的 任意 滤波 
器 ,我 们 可 得 出 如 下 结果 


(5.148) 


w(n) = W(0) ”对 所 有 n 
因为 ECan) = -v(n), 故 对 于 特定 干扰 , 式 (5.148) 的 能 量 增 益 采 取 如 下 特殊 形式 


N-1 2 
> léun)| 


WOR + > lean)? 





y(u) = WF én) = 一 v(n) (5.150) 
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N-I 
dim 之 [ul < o0 (5.151) 


[ 即 输入 向 量 ua(z) 是 受 激 的 ]。 由 此 可 知 , 对 于 任意 给 定 的 正常 数 》, 总 能 找到 一 个 参数 向 量 w 
和 一 个 整数 N ,使 得 


Sjen) [= S| — W(n))"u(n)/? > 二 lw — WO) = 5, l0 


使 用 式 (5.148) 的 选择 并 消去 共同 项 ,可 得 


1 
1+5<Y <! 


现 可 看 出 ,对 于 这 个 特定 干扰 ,通过 使 常数 $ 趋 于 零 ,任意 滤波 器 的 最 大 能 量 增益 可 以 任意 地 
接近 1。 因 为 任何 滤波 器 的 最 坏 情 况 干 扰 一 定 产生 最 大 能 量 增 益 ( 而 没有 比 这 个 特殊 值 更 小 
的 值 ), 故 可 得 出 如 下 结论 : 


o 对 应 于 “最 坏 情 况 " 干 扰 的 任意 滤波 器 的 最 大 能 量 增益 永 不 会 小 于 1。 
然而 , 式 (5.149) 告 诉 我 们 : 
© LMS 滤波 器 的 最 大 能 量 增益 不 会 超过 1。 
这 两 个 表述 意味 着 LMS 滤波 器 实际 上 是 H” 最 优 的 ( 即 , 它 使 最 大 能 量 增益 最 小 化 ) ,而 且 意 味 着 
Yopt = 1 
总 之 ,刚刚 介绍 的 内 容 是 重要 的 ,原因 如 下 : 


e 由 于 自 适 应 均衡 器 首先 应 用 于 电话 信道 ,因此 那个 时 候 入 们 认为 基于 LMS 算法 的 自 适 
应 均衡 器 对 于 电话 信道 干扰 具有 和 鲁 棒 性 。 
e 事实 已 经 证 实 以 前 的 实际 观察 : LMS 算法 在 H 意义 上 是 最 优 的 。 


5.11 不 同情 况 下 步 长 参数 的 上 界 


为 了 对 本 章 的 LMS 算法 有 一 个 总 的 了 解 ,我 们 给 出 关于 算法 步 长 参数 jy 的 三 个 上 界 。 每 
一 个 界 表示 算法 运行 的 不 同方 面 。 这 些 关 于 jy 的 上 界 总 结 在 表 5.3 中 , 表 中 也 包括 表示 问题 
上 界 所 涉及 的 各 种 参数 的 说 明 。 
#5.3 IMS 滤波 器 步 长 参数 三 种 不 同上 界 的 小 结 





必要 条 件 步 长 参数 p HLF 参数 的 说 明 
1.LMS 滤波 器 零 阶 解 的 稳定 性 之 Deux = 抽 头 输入 相关 矩阵 的 最 大 值 
2 .长 LMS 滤波 器 的 稳定 性 ie M = 滤波 器 长 度 


Saa = 抽 头 输 人 功率 谱 密度 的 最 大 值 


3.LMS 滤波 器 的 H” 最 优 性 N = 用 于 序列 LMS 滤波 器 的 迭代 次 数 


cain y Tut) 7 


un) = 抽 头 输入 向 量 
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第 一 个 上 界 2/4ww 是 必要 条 件 , 由 小 步 长 理论 导出 的 零 阶 解 的 稳定 性 一 定 要 满足 这 个 条 
件 。 然 而 ,这 个 理论 忽略 了 高 阶 量 的 影响 ;因此 表 中 未 对 p 取 大 值 时 基于 小 步 长 理论 的 LMS 
滤波 器 的 稳定 性 做 出 令 人 信服 的 说 明 。 

第 二 个 上 界 2/ MS. FEN LMS 滤波 器 的 统计 理论 推出 的 , 它 已 在 第 5.4 节 的 后 半 部 做 了 
介绍 。 这 个 新 理论 不 同 于 小 步 长 理论 之 处 在 于 , 它 既 考虑 了 零 阶 影响 ,也 考虑 了 高 阶 影响 。 此 
外 ,计算 机 模拟 表明 这 个 界 是 “ 紧 致 的 ” ,因为 一 旦 超过 ,LMS 滤波 器 就 会 发 生 振 葛 。 

不 过 ,任意 长 度 LMS 滤波 器 稳定 性 的 充 要 条 件 的 推导 仍 是 一 个 尚未 解决 的 问题 。 

上 述 关于 s 的 两 个 界 都 是 经 某 些 变换 得 出 的 结果 。 第 一 个 界 是 本 相似 变换 ( 即 特征 分 
解 ) 用 于 抽 头 输入 相关 矩阵 导出 的 结果 ;而 第 二 个 界 是 傅 里 叶 变 换 用 于 对 应 的 自 相 关 序列 获得 
的 结果 。 表 5.3 总 结 的 第 三 个 界 不 同 于 上 述 两 个 界 , 因为 它 是 严格 地 从 能 量 考 虑 导出 的 。 这 
个 推导 在 第 5.10 节 介 绍 过 。 特 别 地 ,对 任意 整数 N, 第 三 个 界 min 1/ am) ||? 是 LMS 滤波 


器 H” 最 优 性 的 必要 条 件 。 前 两 个 界 是 固定 的 ,而 第 三 个 界 是 时 变 的 。 此 外 , 它 支持 了 如 下 众 
所 周知 的 事实 : 当 j 为 较 小 值 时 ,LMS 滤波 器 工作 得 最 好 。 因 此 ,根据 第 三 个 界 选择 jy 时 ,不 
但 保证 了 滤波 器 的 鲁 棒 性 ,而 且 也 满足 小 步 长 理论 实际 应 用 的 要 求 。 


5.12 确定 性 输入 时 的 转移 函数 方法 


第 5.4 节 介 绍 的 LMS 滤波 器 理论 完全 以 时 域 思想 为 基础 。 我 们 现在 通过 对 确定 性 输入 
描述 另 一 种 名 为 转移 函数 方法 (transfer function approach)? 的 方法 来 重新 考察 LMS 滤波 问题 。 
在 这 个 方法 中 , 当 假设 滤波 器 长 度 很 大 (这 与 第 5.4 节 简要 讨论 的 Butterweck 波 理论 的 假设 一 
样 ) 时 ,“ 非 线性 ”LMS 滤波 器 可 用 “线性 ”离散 时 间 系 统 来 近似 。 转 移 函 数 方 法 来 自 于 第 5.3 节 
介绍 的 正弦 干扰 自 适应 噪声 消除 的 确定 性 分 析 。 这 个 新 方法 吸引 人 的 特点 是 ,其 有 效 性 不 受 
步 长 参数 值 的 限制 。 然 而 , 它 的 应 用 受到 稳 态 分 析 的 限制 。 由 于 这 个 限制 , 它 不 能 获得 滤波 器 
稳定 时 步 长 参数 的 上 界 。 

为 了 用 公式 表示 转移 函数 方法 ， 我 们 从 权 值 更 新 方程 (5. 8) 出 发 来 开始 工作 。 由 于 假设 因 
果 性 ,重复 应 用 该 方程 ,可 得 


n-1 
W(n) = W(0) + wD e*(iuli) (5.152) 


其 中 Ww(0) 为 初始 权 向 量 。 相应 地 ,LMS 滤波 器 的 输出 可 表示 为 





O 在 正 汞 干扰 的 自 适应 噪声 消除 范围 内 的 转移 函数 方法 首先 由 Glover(1997) 给 出 。 这 个 方法 后 来 被 Clarkson 和 White 

(1987) 推 广 用 来 分 析 确 定性 输入 的 LMS 滤波 器 的 性 能 。 
、， 另 一 篇 值得 一 提 的 有 关 自 适应 滤波 器 频 域 分 析 的 文章 是 Gunnarsson 和 Ljung(1989) 的 论文 。 该 文 的 焦点 是 根据 真实 

转移 函数 与 自 适 应 滤波 估计 转移 函数 之 间 均 方 误差 的 性 能 测量 的 公式 化 表示 。 在 跟踪 线性 时 变 系 统 的 范围 内 进 
行 性 能 评价 ,这 是 第 14 章 研究 的 课题 。 
更 重要 的 是 , Reuter 和 Zeidler(1999) 以 及 Quirk 等 (2000) 使 用 转移 函数 方法 证 明了 ,通过 利用 LMS 滤波 器 固有 的 非 线 
性 特性 ,有 可 能 获得 性 能 方面 优 于 相应 维 纳 滤波 器 的 LMS 滤波 器 。 这 种 与 传统 常识 相抵 触 的 不 寻常 的 LMS 波 波 器 
特性 ,很 自然 地 称 为 非 线性 LMS BER RE B 5.4 节 介绍 的 小 步 长 理论 忽略 了 高 阶 项 ,而 高 阶 项 对 于 分 析 非 
线性 现象 是 很 重要 的 。 对 于 这 个 情况 的 研究 ,Reuter 和 Zeidler(1999) 以 及 Quirk 等 (2000) 集 中 在 包含 自 适应 均衡 和 
自 适 应 噪声 消除 的 牵 带 应 用 方面 。 该 处 业已 证 明 ,LMS 滤波 器 稳 态 均 方 误差 性 能 优 于 相应 维 纳 滤 波 器 的 程度 取决 
于 如 下 因素 :信号 干扰 比 、 信 品 比 滤波 器 长 度 和 步 长 参数 。 
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y(n) = w(n)u(n) 


n-1 
= Wi(0)u(n) + #2, elija” (Du(n) (5.153) 
上 式 包 括 式 (5.54) 作 为 其 特例 。 
定义 LMS 滤波 器 抽 头 输入 的 时 间 平 均 自 相关 函数 为 
M-1 
rui = E Sula- juli = j) 
1 yo (5.154) 
= ye alr) 
当 滤 波 器 长 度 M 较 大 时 ,假设 信号 w(n) 的 能 量 有 限 , 则 可 以 令 
r(n =i) S mi 对 于 大 M (5.155) 


其 中 ,rl(n -站 是 抽 头 输入 的 集 平均 自 相关 函数 。 因 此 ,按照 式 (5.154) 和 式 (5.155) ,可 以 对 式 
(5.153) 中 的 内 积 u” (i) a(n) Mr(n — i), AT LMS 滤波 器 的 输出 可 近似 为 


n-i 
y(n) = 7 (0)u(a) + uM X eli)r(n - i) (5.156) 
式 (5.156) 的 求 和 项 可 看 做 误差 信号 e(n) 与 自 相关 函数 r(n) 的 卷 积 。 定 义 LMS 滤波 器 的 误 
差 信号 为 
e(n) = d(n) — y(n) 
因此 ,从 期 望 响 应 d(n) 中 减 去 式 (5.156) ,可 得 长 LMS 滤波 器 的 常 系数 线性 差分 方程 , 即 


e(n) 十 „MS e(i)r(n — i) = x(n) (5.157) 


其 中 
x(n) = d(n) ~ W4(0)u(n) (5.158) 
式 (5.157) 描 述 了 一 个 离散 时 间 系 统 , 其 中 x(n) 为 激励 信号 ,误差 信号 e(m ) 为 结果 响应 。 线 
性 系统 作为 非 线性 LMS 滤波 器 近似 的 正确 性 受制 于 如 下 两 个 条 件 : 
© LMS 滤波 器 的 抽 头 输入 来 自 于 确定 性 过 程 。 
© LMS 滤波 器 的 长 度 较 大 。 
式 (5.157) 可 用 展开 形式 写 为 
e(n) + pMr(1)je(n — 1) +- + pMr(n)e(0) ~ x(n) (5.159) 
其 中 ,在 稳 态 条 件 下 ,时 间 指 数 n 趋 于 无 穷 。 设 EOM X(z) 分 别 表示 误差 信号 e(n) 和 激励 
信号 x(n) 的 z 变换 。 对 式 (5.159) 做 z 变换 ,并 对 转移 函数 系统 求解 , 则 有 
E(z) 
X(z) 





A(z) = n> oo 


从 而 得 到 
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其 中 


R(z) = Š rine” (5.162) 
LAR (5.160) ~ 式 (5.162) 为 基础 ,我 们 现在 可 描述 定义 在 z 域 的 LMS 滤波 器 的 线性 系统 近似 ， 
如 图 5.30 所 示 。 
线性 离散 


激励 X(z) 的 z 变 换 时 间 系 统 误差 信号 E(z) 的 z 变换 
H(z) 


图 5.30 长 LMS 滤波 器 的 线性 离散 时 间 逼 近 


我 们 对 确定 J( % ) 感 兴趣 , 它 表示 LMS DER aR RAST RZ. ON TE J), FRAT HT 
现 有 情况 使 用 第 1 章 采用 过 的 两 个 定理 : 

定理 1: 令 5,(w) 表 示 确 定性 过 程 x(m) 的 功率 谱 密度 , 它 应 用 于 由 转移 函数 H(z) 表 征 的 

离散 时 间 系 统 。 令 e(n) 表 示 该 系统 产生 的 过 程 ,其 功率 谱 为 5,(w%)。 则 


Selo) = |H(e)’S,(o) (5.163) 


其 中 HC ) 可 通过 在 单位 圆 上 计算 H(z) 得 到 。 
定理 2: 过 程 的 稳 态 均 方 值 与 其 功率 谱 密度 5,(w) 的 关系 为 


1/2 
J(co) = | ,Soda (5.164) 


这 里 , 谱 域 中 的 角 频 率 支 持 假设 为 1。 
根据 以 上 定理 ,利用 转移 函数 方法 确定 稳 态 均 方 误差 J( % ) 的 步骤 可 归纳 如 下 : 


1) 给 定 LMS 滤波 器 抽 头 输入 的 自 相 关 序 列 {r(D) 了 ,使 用 式 (5.162) 确 定 z 变换 R(z)。 
2) 对 于 特定 的 步 长 参数 上/ 和 滤波 器 长 度 1 ,用 式 (5.161) 确 定 近 似 线性 系统 转移 函数 
H(z)o 
3) 对 于 特定 的 初始 条 件 w(0) ,使 用 式 (5.158) 确 定 激励 信号 x(n) ,然后 计算 激励 信号 的 
抽样 功率 谱 密 度 S.(w)。 
4) 使 用 式 (5.163) 计 算 误差 信号 e(n) 的 功率 谱 密 度 , 然 后 用 式 (5.164) 计 算 LMS 滤波 器 的 
” 稳 态 均 方 误差 Jo). 
5.12.1 特殊 情况 
对 于 式 (5.158) 定 义 的 激励 信号 x(n), 我 们 已 经 研究 了 转移 函数 方法 的 基本 理论 。 以 下 
是 我 们 特别 感 兴 趣 的 两 种 情况 : 
情况 1; 初始 化 抽 头 权 向 量 w(0) = 0。 这 种 情况 对 应 于 LMS 滤波 器 通常 初始 化 的 情况 。 
在 式 (5.158) 中 令 w(0) =0, 容 易 发 现 此 时 激励 将 变 为 期 望 响 应 , 即 
x(n) = d(n) 
情况 2: 初始 化 抽 头 权 向 量 w(0) = w,。 设 LMS 滤波 器 分 解 为 一 对 滤波 器 :时 不 变 维 纳 
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滤波 器 和 时 变 失 调 滤波 器 ,它们 与 输入 端 并 联 , 如 图 5.31 所 示 。 因 此 ,我 们 可 把 LMS 滤波 器 抽 
头 权 向 量 w(n) 表 示 为 

WwW(n) = Wo 十 Wmis(n) 
其 中 w。 和 ws(n) 分 别 表示 维 纳 滤波 器 和 失调 滤波 器 的 权 向 量 。 在 情况 2 中 , 自 适 应 滤波 的 
作用 通过 令 ws (0) = 0 获得 初始 化 , 它 等 效 于 用 维 纳 滤波 器 对 LMS 滤波 器 初始 化 。 从 而 ,在 
式 (5.158) 中 令 w(0) = w,, 可 得 激励 信号 为 

x(n) = d(n) 一 wo n(n) 

= eo(n) 

这 就 是 说 , 令 情况 2 中 用 于 近似 线性 系统 的 激励 信号 x(n) 等 于 相应 的 维 纳 滤 波 器 所 产生 的 误 


差 信和 号 e,(n)。 


时 不 变 维 纳 滤波 器 
Wo 





ED) TSE RE 
Wrnis(?) 


图 5.31 分 解 LMS 滤波 器 为 时 不 变 滤波 器 与 时 变 滤波 器 


从 实用 角度 看 ,情况 1 具有 实际 意义 ,而 情况 2 只 具有 理论 意义 。 这 样 说 的 原因 是 ,如 果 
一 开始 最 优 维 纳 解 w, 已 知 的 话 , 我 们 就 没有 必要 使 用 自 适 应 滤波 器 来 估计 它 了 1! 


5.13 本 章 小 结 


本 章 详细 研究 了 LMS 滤波 器 的 标准 形式 , 它 是 线性 自 适 应 滤波 的 重要 基础 。LMS 滤波 器 
的 实际 重要 性 在 于 它 的 两 个 独特 的 特性 : 

e 实现 简单 性 

o 模型 独立 性 ,因此 性 能 具有 得 棒 性 


LMS 滤波 器 的 主要 限制 是 它 的 收敛 速率 慢 , 这 归 因 于 仅仅 使 用 一 阶 信息 。 
影响 LMS 滤波 器 收敛 的 两 个 主要 因素 是 : 步 长 参数 jy 和 抽 头 输入 向 量 相关 和 矩阵 R 的 特征 
值 。 根据 第 5.4 节 给 出 的 统计 LMS 理论 ,这 些 因素 的 影响 可 总 结 如 下 : 


lp 较 小 时 , 自 适应 速率 减 慢 , 它 等 效 于 LMS 滤波 器 有 长 的 “记忆 ”。 因 此 , 自 适应 后 平均 
额外 均 方 误差 较 小 ,这 是 因为 滤波 器 使 用 大 量 数据 估计 梯度 向 量 。 另 一 方面 , 当 y 较 
大 时 , 自 适 应 速率 相对 较 快 ,但 以 自 适应 后 平均 额外 均 方 误差 的 增加 为 代价 。 在 这 种 情 
况 下 , 较 少数 据 进 入 估计 , 故 滤波 器 误差 性 能 恶化 。 因 此 ,参数 p 的 倒数 可 以 看 做 LMS 
滤波 器 的 记忆 。 
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2) 当 相关 和 矩阵 R 的 特征 值 广泛 散 开 时 ,LMS 滤波 器 的 额外 均 方 误差 主要 由 最 大 特征 值 决 
定 ,平均 抽 头 权 向 量 E[w(n)] 的 收敛 时 间 则 受到 最 小 特征 值 的 限制 。 然 而 , 均 方 误差 
J(n) 的 收敛 速率 受 特征 值 扩 散 度 影响 的 程度 小 于 有 B[w(z)] 收 敛 所 受 影响 的 程度 。 当 
特征 值 分 布 较 广 ( 即 当 抽 头 权 向 量 的 相关 矩阵 病态 ) 时 ,LMS 滤波 器 的 收敛 速率 变 慢 。 
但 是 ,并 不 总 是 需要 如 此 ,因为 在 非 白 输入 条 件 下 LMS 滤波 器 的 收敛 特性 具有 方向 性 。 
这 个 特性 可 用 在 LMS 算法 的 初始 化 阶段 ,从 而 改善 了 收敛 过 程 。 当 然 , 要 使 之 成 为 可 
能 ,需要 某 些 先 验 知识 。 


对 于 中 等 长 度 和 较 大 长 度 M 的 LMS 滤波 器 , 均 方 收敛 的 步 长 参数 w 的 必要 条 件 定义 为 


O<u< 





MS max 

其 中 S。 表 示 抽 头 输入 功率 谱 密 度 的 最 大 值 。 遗 憾 的 是 , 当 滤 波 器 长 度 M 较 小 时 ,将 没有 一 
个 关于 jy 的 具体 上 界 。 不 过 ,如 果 与 1/4,。( 这 里 Aa 是 抽 头 输入 相关 矩阵 的 最 大 特征 值 ) 相 比 
BBE BRA TESS 5.4 节 所 述 小 步 长 理论 中 的 “ 零 阶 解 "为 LMS 滤波 器 瞬 态 特性 提供 了 一 个 很 
好 的 描述 。 

在 第 5.10 节 中 ,我 们 使 用 基于 H 准则 的 确定 性 方法 证 明了 LMS 滤波 器 的 鲁 棒 性 。 这 个 
方法 集中 关注 能 量 增 益 的 概念 , 它 定义 为 滤波 器 输出 产生 的 误差 能 量 与 滤波 器 输入 端 总 干扰 
能 量 之 比 。 令 人 惊奇 的 是 , 自 适应 滤波 器 的 能 量 增 益 可 能 等 于 1, 而且 LMS 滤波 器 可 做 到 这 -一 
点 。 因 此 应 当 考 虑 使 LMS 滤波 器 的 最 优 性 与 ”准则 (而 不 是 与 均 方 误差 准则 ) 相 一 致 。 

最 后 值得 一 提 的 是 ,在 比较 LMS 滤波 器 与 非 自 适应 滤波 器 的 均 方 误差 性 能 时 , 人们 特别 
关注 参考 框架 的 选择 问题 。 在 LMS 滤波 器 的 大 多 数 应 用 中 , 维 纳 滤波 器 的 确 适 合作 为 非 自 适 
应 的 参考 框架 。 也 就 是 说 ,与 LMS 滤波 器 具有 相同 抽 头 延 时 线 结 构 的 维 纳 滤波 器 ,为 LMS 滤 
波 器 性 能 提供 了 有 意义 的 界 。 然 而 ,正如 第 240 页 的 注释 所 指出 的 那样 ,LMS 滤波 器 很 可 能 优 
于 对 应 的 维 纳 滤波 器 。 例 如 ,在 对 窄带 干扰 信号 分 量 进行 自 适 应 噪声 消除 时 ,挖掘 LMS 滤波 
器 抽 头 权 向 量 与 于 扰 信号 之 间 的 强 耦 合 , 将 导致 LMS 滤波 器 的 均 方 误差 可 能 大 大 低 于 对 应 的 
维 纳 滤波 器 的 均 方 误差。 


5.14 习题 


1.LMS 滤波 器 是 一 个 OCM) 算法 ,其 中 M 是 横向 滤波 器 的 长 度 。 试 证 明 这 个 结论 。 

2.LMS 算法 用 来 实现 双 输 入 、 单 权 值 自 适应 噪声 消除 器 。 建 立 一 个 方程 来 定义 该 算法 的 运算 。 

3. 第 5.3 节 的 应 用 2 所 讨论 的 基于 LMS 的 自 适 应 反 卷 积 过 程 应 用 于 前 向 时 间 自 适应 ( 即 前 向 预 
测 )。 试 对 于 后 向 时 间 自 适应 ( 即 后 向 预测 ) 重 新 推导 这 个 过 程 。 

4. 考 虚 式 (5.44) 的 含 品 正弦 信号 应 用 于 图 5.9 的 自 适应 谱 线 增强 器 。 试 证 明 所 产生 的 输出 
[ 记 为 y(n)] 由 式 (5.45) 和 式 (5.46) 所 定义 。 

5. 某 一 未 知 实 值 系统 的 的 零 均 值 输出 d(n) 用 多 重 线性 回归 模型 表示 为 


d(n) = wiu(n) + v(n) 


其 中 w, 是 模型 的 (未 知 ) 参 数 向 量 , u(n) 是 输入 向 量 , y(n) 是 零 均值 .方差 为 oz 的 白 噪声 
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样 值 .图 P5.1 的 框图 给 出 未 知 系统 的 自 适 应 模型 ,其 中 自 适应 横向 滤波 器 由 改进 的 LMS 算 
法 控制 。 特 别 地 ,横向 滤波 器 的 抽 头 权 向 量 w(n) 的 选择 使 得 如 下 性 能 指标 
J(w, K) = Ele*(n)] 
最 小 化 ,其 中 K=1,2,3,...。 
(a) 使 用 瞬 态 梯度 向 量 ,证明 相应 抽 头 权 向 量 估计 新 的 自 适应 原则 为 
W(n + 1) = W(n) + pKu(n)eX-'(n) 
其 中 Ap 是 步 长 参数 ,而 
e(n) = d(n) ~ w'(n)u(n) 
为 估计 误差 。 
(b) 假设 加 权 误 差 向 量 
e(n) = w, — W(n) 
为 零 ,vy(n) 与 uCn) 独 立 。 试 证 明 
Ele(n + 1)] = (1 - pKQK ~ 1)E[ (n) R)E[e(n)] 
其 中 R 是 输入 向 量 u(n) HRE, 
Cc) 证 明 如 果 步 长 参数 wp 满足 如 下 条 件 


O<n< 2 


K(2K — 1)E[v**-(n) jAmax 
其 中 A FESR R 的 最 大 特征 值 , 则 (a) 中 描述 的 改进 的 LMS 算法 在 均值 意义 上 收敛 。 
(d) 对 于 KK=1, 证 明 (a),(b) 和 (c) 的 结果 退化 为 相应 的 传统 LMS 算法 的 解 。 





未 知 系统 的 多 重 线 性 回归 模型 





图 P5.1 未 知 系统 的 自 适应 模型 

6.(a) 令 m(n) 表 示 LMS 算法 在 迭代 次 数 为 上 时 的 权 向 量 均值 , 即 
m(n) = E[%(n)] 

利用 第 5.4 节 的 小 步 长 理论 证 明 
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m(n) = (I ~ »R)"[m(0) 一 m(oo)] + m(oo) 
其 中 jx 是 步 长 参数 ,R EAM BME ,m(0) Al m( % ) 分 别 表示 权 向 量 均值 的 初 
始 值 和 最 终 值 。 
(b) 证 明 : 为 了 满足 均值 m(n) 收 敛 , 步 长 参数 pe 必须 满足 如 下 条 件 


O<yp< 


其 中 A ne FETE EM R 的 最 大 特征 值 。 
7. 考 虑 均值 为 0、 方差 为 o? 的 白 噪声 序列 作为 LMS 算法 的 输入 。 试 给 出 
(a) 在 均 方 意义 上 算法 收敛 的 条 件 ,并 计算 
(b) 额外 均 方 误差 
8. Hti (leaky) LMS 算法 。 考 虑 时 变 代价 函数 
J(n) = |e(n)? + allw(n)|? 
其 中 w(n) 是 模 向 滤波 器 的 抽 头 权 向 量 ,e(n) 为 估计 误差 ,a 为 常数 。 通 常 
、 e(n) = d(n) —-w"(n)u(n) 
SUP d(n) EMRAN, uC FERRE RA CEN LMS 算法 中 ,代价 函数 相对 于 权 向 量 
w(n) 最 小 化 。 
(a) 证 明 抽 头 权 向 量 w(n) 的 更 新 表达 式 为 
w(n + 1) = (1— pa)W(n) + pu(n)e*(n) 


(b) 利用 小 步 长 理论 ,证 明 





max 


Jim, E[®(n)] = (R + al)'p 
其 中 R 是 抽 头 输入 向 量 的 相关 矩阵 ,p 为 抽 头 输入 向 量 与 期 望 响应 的 互相 关 向 量 。 并 
说 明 该 算法 在 均值 意义 上 收敛 的 的 条 件 是 什么 ? 
Co) 如 何 修改 传统 LMS 算法 中 的 抽 头 权 向 量 方 可 得 到 (a) 中 的 等 效 结果 ? 
9. 考 虑 在 低 信 噪 比 条 件 下 使 用 LMS 算法 进行 自 适 应 谱 线 增强 。 抽 头 输入 向 量 的 相关 矩阵 定 
SMA 
R= ol 
其 中 工 是 单位 阵 。 试 证 明 加 权 误 差 相 关 和 矩阵 K(n) 的 稳 态 值 为 
KK(co) = S Jail 
式 中 u 是 步 长 参数 ,J ,是 最 小 均 方 误差 , 且 可 以 假设 自 适应 横向 滤波 器 的 抽 头 数 较 多 。 
10. 从 式 (5.58) 的 小 步 长 出 发 ,证 明 
REKo(n) + Ko(n)R = u $ IR! 


其 中 

JQ, = Ele,(njex(n - 1)] £=0,1,2, ... 
及 

R' = Elu(n)u4(n-1)] 1 = 0,1,2, ... 


[由 于 求 和 项 RK, (n) + Ko(n)R 的 特殊 结构 ,涉及 该 求 和 项 的 方程 通常 称 为 李 雅 普 诺 夫 方 
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程 (Lyapunov equation ) ] 
11. HES LMS 滤波 器 的 自然 模式 w(m) 的 均值 和 均 方 值 ,它们 分 别 由 式 (5.81) 和 式 (5.82) 定 义 。 
12. 利 用 第 5.4 节 的 小 步 长 理论 ,做 如 下 工作 : 
(a) 证 明 多 ( oo ) 独 立 于 输入 信和 号 , 即 
(00) = 5 HM Ini 


(b) 推导 失调 公式 


TAN ie FE FE SEE R 的 对 角 化 。 
13. 自 适应 算法 的 收敛 速率 可 用 权 值 误差 向 量 定义 为 
Elle(n + 1)/7] 
E{\e(n)|?] 
试 证 明 ,对 于 小 的 n 值 和 平稳 输入 ,LMS 算法 的 收敛 速率 约 等 于 
€(n) = (1—po2?? n BE 
这 里 ,假设 抽 头 输入 向 量 n(n) 的 相关 和 矩阵 近似 等 于 o 


e(n) = 


14. (a) LMS 算法 通常 称 为 随机 梯度 算法 。 然 而 ,检查 第 5.9 节 中 涉及 纯粹 正弦 曲线 过 程 的 图 
5.27 和 图 5.28 可 以 发 现 , 该 处 显示 的 轨迹 图 都 是 意义 明确 的 ( 即 LMS 算法 产生 的 参数 估 


计 都 是 确定 性 的 )。 这 些 表述 就 其 方法 而 言 都 是 正确 的 ,如 何 调和 它们 的 矛盾 呢 ? 

(b) 假 设 均值 为 零 TEK of 的 白 噪声 加 到 第 5.9 FERRE AP, BARRE 
的 结果 如 何 修改 ? 

15. 自 适应 滤波 器 的 直通 连接 发 生 在 某 些 应 用 中 (如 回声 消除 )。 考 虑 图 PB5.2, 它 给 出 包含 一 
对 LMS 滤波 器 (Ho,2000) 的 一 个 简单 的 直通 结构 。 输 入 向 量 u(n) 同 时 作用 于 两 个 滤波 器 ， 

而 且 由 滤波 器 1 产生 的 误差 信号 e,(n) 作 为 滤波 器 工 的 期 望 响 应 。 试 做 如 下 工作 : 


d(n) 





自 适应 滤波 器 I 






自 适 应 滤波 器 I 


图 P5.2 两 个 LMS 滤波 器 的 直通 结构 
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(a) 用 公式 表示 图 中 直通 结构 的 更 新 方程 。 

Cb) 证 明 若 两 个 自 适 应 滤波 器 各 自在 均 方 意义 上 收敛 , 则 这 个 直通 结构 系统 在 均 方 意义 上 
16. 在 本 章 中 所 介绍 的 有 关 LMS 滤波 器 的 许多 讨论 中 ,我们 把 注意 力 集中 于 固定 步 长 参数 的 

使 用 上 。 在 这 个 问题 中 ,我 们 考虑 步 长 是 自 适 应 控制 0 的 自 适应 LMS 滤波 器 。 这 种 改进 

的 动因 是 为 了 改善 LMS 滤波 器 的 收敛 性 。 

(a) 定义 梯度 向 量 





y(n) = E 
JE MO EENES RW y(n) 下 LMS 滤波 器 估计 的 权 值 向 量 。 从 瞬 态 代价 函数 
出 发 

In) = Z letm) 
证 明 


y(n) = (I - w(n)u(n - 1)u#(n — 1))y(m ~ 1) + u(n — 1)e*(n — 1) 
其 中 e(n) dé LMS 滤波 器 的 误差 信号 ,I 为 单位 阵 。 
(b) 根据 如 下 一 对 更 新 方程 
win + 1) = Wn) + n(n)u(n)e*(n) 
和 
u(n) = u(n — 1) + pe(n)y"(n)u(n) 
其 中 y(n) 在 (a) 中 定义 ,p 是 一 个 用 来 控制 y(n) 自 适应 的 小 正常 数 ;试用 公式 表示 时 
变 步 长 的 LMS 算法 。 
17. 从 式 (5.144) 出 发 ,证 明 如 果 u` || (n+ 1) |? 加 到 式 子 的 左边 ,不 等 式 仍 成 立 ;并 从 此 推 
导 式 (5.145) 更 紧 致 的 不 等 式 表示 。 
18. 某 一 由 两 个 正弦 输入 组 成 的 信号 表示 为 


u(n) = Aocos(won) + A, cos(an) 


该 信号 加 到 一 个 LMS 滤波 器 上 。 使 用 第 5.11 节 描 述 的 转移 函数 方法 ,证 明 这 个 LMS 滤波 
器 起 到 两 个 陷 波 滤波 器 之 和 的 作用 。 

19. 在 第 5.8 节 使 用 LMS 算法 进行 自 适应 波束 形成 的 计算 机 实验 中 ,给 出 了 结果 ,但 没有 说 明 
LMS 算法 是 如 何 应 用 的 。 从 式 (2.77) 的 代价 函数 出 发 , 试 推导 该 实验 中 定义 自 适应 波束 形 
成 器 权 值 调整 的 递归 关系 。 


计算 机 实验 


20. 在 包含 AR 过 程 产生 的 计算 机 实验 中 ,有 时 没有 足够 的 时 间 使 瞬 态 消失 。 这 个 实验 的 目的 
是 为 了 估计 这 种 瞬 态 对 于 LMS 算法 的 影响 。 因 此 ,考虑 第 5.6 节 中 描述 的 一 阶 AR 过 程 





O LMS 滤波 器 中 步 长 参数 自 适 应 的 各 种 步骤 已 在 很 多 文献 中 介绍 (如 Kuzminsky,1982; Mathews & Xie, 1993; Douglas, 
1995; Qin & Bellanger, 1996; Kuzminsky,1997) 。 习 题 16 遵照 Kuzminsky(1997) 的 方案 。 


第 5 章 最 小 均 方 自 适 应 滤波 249 


u(n)。 这 个 过 程 的 参数 如 下 : 
AR X: a =0.99; 
AR 过 程 方差 :o? =1.00; 
噪声 方差 :c; =0.02 


对 于 1<n<100, 在 假设 为 零 初始 的 条 件 下 ,产生 所 描述 的 过 程 uw(n)。 使 用 w(n) 作 为 线 
性 自 适应 预测 器 的 输入 ,该 预测 器 建立 在 步 长 参数 jy = 0.05 的 LMS 算法 的 基础 上 。 特 别 
地 ,通过 预测 器 输出 平方 100 次 独立 实验 结果 的 集 平 均 , 可 画 出 它 与 时 间 n(1< ns<100) 之 
间 关 系 的 学 习 曲 线 。 不 同 于 LMS 算法 的 正规 运算 ,这 样 计算 出 来 的 学 习 曲 线 应 当 从 原点 
出 发 达到 最 高 点 ,然后 衰减 到 稳 态 值 。 试 解释 这 个 现象 的 原因 。 
21. 考 虑 AR 过 程 u(n) ,其 差分 方程 为 
u(n) = —au(n — 1) — au(n — 2) + x(n) 

其 中 v(n) 是 零 均值 方差 为 o, 的 加 性 白 噪声 。AR 参数 a, 和 a, 都 是 实数 

a, = 0.1 

a = —08 
(a) 计算 噪声 方差 o, ,使 得 AR 过 程 u(n) 的 方差 为 1。 从 而 产生 过 程 uw(n) 的 不 同 实现 。 
(b) 给 定 输 入 wu(n), 长 度 为 M=2 的 LMS 滤波 器 用 来 估计 未 知 的 AR 参数 c 和 a,, 步 长 

参数 p = 0.05。 证 实 第 5.4 节 小 步 长 理论 应 用 中 使 用 这 个 设计 值 是 正确 的 。 
(c) 对 于 LMS 滤波 器 的 一 种 实现 ,计算 预测 误差 
f(n) = u(n) — a(n) 





以 及 两 个 抽 头 权 值 误差 
a(n) = -a — Ù (n) 
All 
e(n) = 一 42 一 (n) 
并 利用 f(r), si (n) Al e, (nn) 的 功率 谱 曲 线 , 证 明 f(n) 表 现 为 白 噪声 ,而 el (n) 和 
ez(z) 表 现 为 低 通过 程 。 
(d) 在 滤波 器 100 次 独立 实验 的 基础 上 ,通过 平均 预测 误差 f(r) 的 平方 值 ,计算 LMS 滤波 
器 的 集 平均 学 习 曲 线 。 
(e) 应 用 第 5.4 节 的 小 步 长 统计 理论 ,计算 LMS 滤波 器 的 理论 学 习 曲 线 ,并 将 这 个 结果 与 
(d) 的 结果 比较 。 
22. 考 虑 一 个 线性 通信 信道 , 其 转移 函数 采用 下 列 三 种 可 能 形式 之 一 : 
(i) H(z) = 025 + 2! + 0.257? 
GDH (z) = 0.25 + z — 0.2527 
(iii) H(z) = 0.25 + z! + 0.252? 
对 输入 入 做 出 响应 的 信道 输出 定义 为 
u(n) = È hetn- + v(n) 
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其 中 h, 是 信道 脉冲 响应 ,v(n) 是 零 均 值 、 方 差 为 cy = 0.01 的 加 性 高 斯 白 噪 声 。 信 道 的 输 

人 由 具有 x, = +1 的 伯 努 利 (Bernoulli) 序 列 组 成 。 

这 个 实验 的 目的 是 设计 一 个 自 适 应 均衡 器 ,该 均衡 器 利用 步 长 参数 jy: = 0.001 的 LMS 算法 

来 训练 。 在 结构 方面 ,该 均衡 器 由 具有 21 个 抽 头 的 横向 滤波 器 构成 。 信 道 的 输入 的 延迟 

型 ( 即 * _ 、) 被 加 到 均衡 器 作为 期 望 响应 。 对 于 上 述 所 列 出 的 每 一 种 可 能 的 信道 传输 函 

数 ,做 如 下 工作 : 

(a) 确定 延迟 A 的 最 优 值 使 得 均衡 器 输出 均 方 误 差 最 小 。 

(b) 对 (a) 中 所 确定 的 最 优 延迟 A, 在 实验 的 100 次 独立 试验 的 基础 上 ,通过 误差 信号 均 方 
值 的 集 平均 , 画 出 均衡 器 的 学 习 曲 线 。 

23. 在 第 5.4 节 中 ,我 们 介绍 了 LMS 滤波 器 的 小 步 长 理论 。 本 习题 的 目的 是 研究 当 小 步 长 假设 
不 满足 时 ,应 用 这 个 理论 会 发 生 什么 情况 。 重 复 图 5.18 关于 一 阶 自 适应 预测 器 的 学 习 曲 
线 的 实验 ,但 这 一 次 使 用 如 下 步 长 参数 :0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1, 3; 并 对 所 
得 到 的 结果 进行 讨论 。 

24. 当 目标 信 噪 比 10 dB 干扰 噪声 比 40 dB、 步 长 参数 u = 10° "时 ,重复 第 5.8 节 关 于 MVDR 波 
束 形成 的 计算 机 实验 。 如 前 ,干扰 的 入 射 角 为 

Pimert = sin (0) 
然而 ,这 一 次 我 们 将 研究 当 目标 接近 于 扰 源 时 , 波 东 形成 器 的 空间 响应 发 生 什 么 情况 ? 特 
别 地 ,对 于 如 下 目标 到 达 角 : 
Ci) Prarget = sin’ '( — 0.15) 
Cii) Sage = sin™'( - 0.10) 
(iii) Puga = sin” ( ~ 0.05) 
说 明 你 的 结果 。 
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在 第 5 章 所 研究 的 LMS 滤波 器 标准 形式 中 ,n + 1 次 迭代 中 应 用 于 滤波 器 抽 头 权 向 量 的 失 
调包 含 以 下 三 项 ; 


e 步 长 参数 y, 它 在 设计 者 控制 之 下 。 
o 抽 头 输入 向 量 u(n), 它 由 信息 源 提 供 。 
© 实数 据 的 估计 误差 e(n) 或 者 复数 据 的 估计 误差 e" (nn), 它 是 n 次 迭代 计算 的 结果 。 


失调 直接 与 抽 头 输入 向 量 u(n) 成 正比 。 因 此 , 当 u(n) 较 大 时 ,LMS 滤波 器 遇 到 梯度 噪声 放大 
问题 。 为 了 克服 这 个 困难 ,可 使 用 归 一 化 LMS 滤波 器 @。 特 别 地 ,m+ 1 次 迭代 时 抽 头 权 向 量 
的 失调 相对 于 n 次 迭代 时 抽 头 输入 向 量 a(n) 的 平方 欧 氏 范 数 进行 “ 归 一 化 ”。 

本 章 讨论 归 一 化 LMS 滤波 器 及 其 在 回声 消除 中 的 应 用 。 本 章 也 讨论 了 仿 射 投影 自 适 应 
滤波 器 , 它 可 看 做 归 一 化 LMS 滤波 器 的 推广 。 


6.1 归 一 化 LMS 滤波 器 作为 约束 最 优化 问题 的 解 


就 结构 而 言 , 归 一 化 LMS 滤波 器 与 标准 LMS 滤波 器 完全 一 样 ,如 图 6.1 框图 所 示 。 二 者 
都 是 横向 滤波 器 ,其 不 同 仅仅 在 于 权 值 控 制 器 的 机 理 。M x 1 抽 头 输入 向 量 ua(z) 产 生 输 出 
y(n) ,将 与 期 望 响应 d(n) 相 减 得 到 估计 误差 ,或 误差 信号 e(n)。 在 对 输入 向 量 a(n) 和 误差 
信号 e(m) 组 合作 用 的 响应 中 , 权 值 控制 器 将 权 值 调整 应 用 到 横向 滤波 器 。 在 大 量 欠 代 中 , 反 
复 调整 滤波 器 的 权 向 量 , 直 到 滤波 器 达到 稳定 状态 





图 6.1 自 适 应 横向 滤波 器 框图 
我 们 可 把 归 一 化 LMS 滤波 器 看 做 对 普通 LMS 滤波 器 所 做 的 性 能 改进 (见习 题 1)。 男 外 ， 





@” 称 为 妇 一 化 LMS 算法 的 随机 梯度 算法 ,由 Nagumo 和 Noda(1967) 以 及 Albert 和 Gardner(1967) 分 别 独立 提出 。Nagumo 
和 Noda 对 于 这 个 算法 没有 使 用 特别 的 名 字 , 而 Albert 和 Gardner 将 它 称 为 “ 快 且 脏 的 回归 ”方案 。Bitmead 和 Ander- 
son(1980a,b) 则 把 它 叫 做 “ 归 一 化 LMS 算法 ”。 
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我 们 也 可 以 按 其 自身 导出 归 一 化 LMS 滤波 器 ;这 里 ,我 们 采用 后 者 ,因为 这 样 可 更 深入 了 解 该 
滤波 器 如 何 运 行 。 

归 一 化 LMS 滤波 器 是 最 小 化 干扰 原理 (principle of minimal disturbance) 的 一 种 表现 形式 ,这 
个 原理 可 表述 如 下 : 

从 一 次 迭代 到 下 一 次 中 , 自 适 应 滤波 器 的 权 向 量 应 当 以 最 小 方式 改变 ， 而 且 受 到 更 新 的 滤 

波 器 输出 所 施加 的 约束 。 

为 了 用 数学 术语 考虑 这 个 原理 , 令 w(m) 表 示 第 n URE AS IB OAR EE wn +1) 表 示 
第 n+ 1 次 迁 代 滤波 器 新 的 权 向 量 。 则 可 把 归 一 化 LMS 滤波 器 设计 准则 表述 为 约束 优化 问题 : 
给 定 抽 头 输入 向 量 u(n) 和 目标 响应 d (+) ,确定 更 新 的 抽 头 向 量 w(m + 1) ,以 使 如 下 增 量 


dw(n + 1) = Win + 1) — wn) (6.1) 
的 欧 氏 范 数 最 小 化 ,并 受制 于 以 下 约束 条 件 
win + 1)u(n) = d(n) (6.2) 


WaT RAT AE BEG Te, FRAT SEA TB RFK (method of Lagrange multiplier) ,对 于 复 
数据 的 一 般 情况 ,该 方法 可 参见 附录 C。 根 据 这 个 方法 ,目前 所 考虑 问题 的 代价 函数 为 
J(n) = |6W(n + DP + Re[A*(d(n) — Wi(n + 1)u(n))] (6.3) 
其 中 ,4 为 复数 拉 格 朗 日 乘 子 , x BIG; Re[ - ] 表 示 取 实 部 运算 , 约 东 对 代价 函数 的 贡献 
是 实 值 的 ; | 6w(n +1) |? 表示 欧式 范 数 的 平方 运算 ,其 结果 也 是 实 值 的 。 从 而 ,代价 函数 
J(n) 是 实 值 的 二 次 函数 , 且 可 表示 为 
J( = (W(n + 1) — Wn)) (Wn +1) — Wn)) + Re[A*(d(n) — WHA(n + Dal) (6.4) 
为 了 寻找 使 代价 函数 为 最 小 的 最 优 更 新 权 向 量 ， 采用 如 下 步 又: 
1) 代价 函数 J(n) 对 Ww(n+1) 求 导 。 则 根据 实 函 数 对 复 值 向 量 的 求 导 规则 ( 见 附录 B), 
可 得 
od (n) 
owW*(n + 1) 


令 其 为 零 , 即 得 最 优 解 为 


= 2(W(n + 1) 一 W(n)) — A*u(n) 


W(n +1) = (n) + 3 Aruln) (6.5) 


2) 将 第 一 步 的 结果 代入 式 (6.2) ,求解 未 知 乘 子 1。 首先 写 出 


d(n) = WA(n + 1)u(n) 


(wm + 1 atu(n) ) u(n) 


wi(n)u(n) + 3 Au” (n)u(n) 


、 1 
= WA(n)u(n) + 5 Alu(n)|? 
然后 对 A 求解 ,得 
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_ 2e(n) 
à = Jun (6.6) 





其 中 
e(n) = d(n) — w"(n)u(n) (6.7) 
是 误差 信号 。 
3) 结合 第 一 步 和 第 二 步 的 结果 ,以 表示 增 量 变化 的 最 优 值 。 即 由 式 (6.5) 和 式 (6.6) 可 得 
SW(n +1) = Win + 1) — W(n) 
= ggg A 6-8) 
Hy TX HARD FU ARS A DD ES E FH TAS BBD 5 
人 一 个 正 的 实数 标 度 因 子 fo BIE SHEN 
SW(n +1) = Win + 1) — W(n) 


H 
Iu) 


(6.9) 





u(n)e*(n) 
等 价 地 ,我 们 写 出 

、 _ He x 

e(n +1) = w(n) + ump nee (n) (6.10) 


实际 上 ,这 就 是 计算 归 一 化 LMS 算法 M x 1 阶 抽 头 权 向 量 所 期 望 的 递归 结果 。 式 (6.10) 清 楚 
地 表明 使 用 “ 归 一 化 ”的 原因 :乘积 向 量 u(n)e"(n) 相 对 于 抽 头 输入 向 量 u(n) 的 平方 欧 氏 范 
数 进行 了 归 一 化 。 

比较 归 一 化 LMS 滤波 器 的 递归 表达 式 (6.10) 与 传统 LMS 滤波 器 的 递归 表达 式 (5.8) ,可 
知 如 下 观测 结果 : 


o 归 一 化 LMS 滤波 器 的 自 适应 常数 是 无 量 纲 的 ,而 LMS 滤波 器 的 自 适应 常数 有 有 反 向 
功率 的 量 纲 。 
on 


_ H 
e(n) = Tal 


我 们 可 以 把 归 一 化 LMS 滤波 器 看 做 时 变 步 长 参数 的 LMS 滤波 器 。 
e@ 更 重要 的 是 ,无 论 对 于 不 相关 数据 还 是 相关 数据 , 归 一 化 LMS 算法 要 比 标准 LMS 算法 
可 能 呈现 更 快 的 收 化 速度 (Nagumo & Noda, 1967; Douglas & Meng, 1994) 。 


在 克服 LMS 滤波 器 梯度 噪声 影响 方面 ,人 们 关心 的 问题 是 归 一 化 LMS 算法 自身 所 引起 的 
问题 , 即 当 抽 头 输入 向 量 u(n) 较 小 时 ,不 得 不 用 较 小 的 平方 范 数 ‖ n(n) ||? 除 以 挛 , 以 致 有 可 
能 出 现 数值 计算 困难 。 为 了 克服 这 个 问题 ,将 式 (6.10) 递 归 表 达 式 修改 为 

(n + 1) = W(n) 十 FF yume under”) | (6.12) 


其 中 8>0。 当 8=0 时 , 式 (6.12) 变 为 式 (6.10) 的 形式 。 


(6.11) 
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基于 式 (6.10) 的 归 一 化 LMS 滤波 器 (算法 ) 总 结 在 表 6.1 中 。 表 中 的 归 一 化 步 长 参数 a 
的 上 界 将 在 下 一 节 异 出 。 
表 6.1 归 一 化 LMS 算法 小 结 


参数 :M = 抽 头 数 ( 即 滤波 器 长 度 ) 

应 = 自 适应 常数 
加 El lu(n) Pn 
O<#<2 POIA ? 
其 中 
E(le(n)?] = 误差 信号 功率 
ELlu(n)1?]= 输 入 信和 号 功率 
Din) = 均 方 偏差 
初始 化 : 
如 果 知 道 抽 头 权 向 量 w(zn) 的 先 验 知识 , 则 用 它 来 为 w(0) 选 择 适 当 的 值 ;否则 令 w(0) =0 


据 : 
(a) 给 定 的 :ua(z)= 第 nm 时 间 Mx1l 抽 头 输入 向 量 
a(n) = 第 n 时 间 步 的 期 望 响 应 
(b) 要 计算 的 :wn+1)= 第 n+1 步 抽 头 权 向 量 估 计 
WH: 
XÍ n=0,1,2,..., F 
e(n) = d(n) —w4(n)u(n) 


oo Dy 
wardD=w n+ Tap" 


n)e* (n) 


6.2 归 一 化 LMS 滤波 器 的 稳定 性 


假设 负责 产生 期 望 响应 4(n) 的 物理 机 制 由 式 (5.138) 多 重 回 归 模 型 控制 。 为 表示 方便 起 
见 , 将 其 重 写 如 下 
d(n) = wiu(n) + v(n) (6.13) 
式 中 ,w 是 模型 的 未 知 参 数 向 量 ， v(n) 是 加 性 干扰 。 归 一 化 LMS 滤波 器 计算 得 到 的 抽 头 权 向 
量 w(n) 是 对 w 的 估计 。 它 们 之 间 的 失 配 用 加 权 误 差 向 量 


e(n) = w- Ww(n) 
来 衡量 。 于 是 ,从 w PME (6.10) ,得 到 


e(n + 1) = e(n) 


~ 


_~—_ 
w(x) |? 
正如 前 面 所 指出 的 , 归 一 化 LMS 滤波 器 的 基本 思想 就 是 对 抽 头 权 向 量 w(m + 1) 强 加 约束 的 条 
件 下 对 n 次 选 代 到 n + 1 次 迭代 的 抽 头 权 向 量 的 增 量变 化 6w(n + 1) 最 小 化 。 按 照 这 个 思想 ， 
一 种 合乎 逻辑 的 做 法 是 :以 均 方 偏差 [ 见 式 (5.84)] 
@(n) = Elle(n)|’] (6.15) 
为 基础 ,进行 归 一 化 滤波 器 的 稳定 性 分 析 。 对 式 (6.14) 两 边 取 平方 欧 氏 范 数 ,而 且 各 项 重 排 后 
取 期 望 值 , 即 得 


B(n + 1) - Bn) = pel ed] - ze Re| Se || (6.16) 


u(n)e*(n) (6.14) 
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其 中 &(n) 是 无 干扰 误差 信号 ,定义 为 
én) = (w — #(n))"u(n) 
= s” (n)u(n) 
根据 式 (6.16) 容 易 看 出 , 均 方 偏差 9 (nm ) 随 迭代 次 数 n 指数 减 小 ,因此 归 一 化 LMS 滤波 器 在 均 
方 误差 意义 下 是 稳定 的 ( 即 收敛 过 程 是 单调 的 ) ,只 要 归 一 化 步 长 参数 a 的 界 为 
wy RAELE e/la] 
2 2 
Elle(n)/’/|u(n)|?] 
从 式 (6.18) 也 容易 发 现 , 均 方 偏差 多 (n) 的 最 大 值 在 此 处 定义 区 间 的 中 点 得 到 。 因 此 ,最 
优 步 长 参数 为 


(6.17) 





0 < (6.18) 


Re {E[é,(n)e*(n)/|lu(n)||?]} 
Elle(n)P/|u(n)|?] 





Hop = (6.19) 


6.2.1 特殊 情况 :实数 据 


对 于 实数 据 的 情况 (例如 ,在 下 一 节 所 考虑 的 回声 消除 器 中 ) , 式 (6.10) 的 归 一 化 LMS 算 
法 取 如 下 形式 


_ 


lua)? 


Wn +1) = w(n) + u(nye(n) (6.20) 


类 似 地 , 式 (6.19) 中 的 最 优 步 长 变 为 


~ _ Elénye(n)/|a()|?] 
Mont E[e*(n)/|u(n)|?] 


为 了 使 最 优 步 长 计算 易于 进行 , 现 引 入 三 个 假设 : 
假设 1: 从 一 次 迭代 到 下 一 次 选 代 的 输入 信号 能 量 ‖ Cn) :的 波动 足够 小 以 满足 近似 





(6.21) 











E(nje(n)] _ Elé(n)e(n)] 
z| laa) |= E[|u(7)|?] (6.22) 
和 
ein) | EIE] 
a ~ E[iu(n)|?] (6.23) 
相应 地 , 式 (6.21) 近 似 为 
For% Ele*(n)] (6.24) 


假设 2: 无 干扰 误差 信号 总 (m) 与 期 望 响应 dn) b ERRETORE) n). 


回顾 第 5 章 , 注 意 到 干扰 误差 信号 e(n) 与 无 干扰 误差 信和 号 &,(n) 有 关 [ 见 式 (5.141)] 
e(n) = &,(n) + v(n) (6.25) 
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使 用 式 (6.25) 并 引用 假设 2, 可 得 
Elé,(n)e(n)] = E[é,(n)(é,(n) + v(n))] 





5 (6.26) 
= Elé2(n)] 
HESK (6.26 FEA KK (6.24) ,可 进一步 简化 最 优 步 长 公式 为 
~ ~ Elém] (6.27) 
mr Elel(n)] l 


与 干扰 误差 信号 e(n) 不 同 ,无 干扰 误差 信号 6, (n) EER, AUR BAW. AT E 
服 计 算 困 难 , 我 们 引入 最 后 一 个 假设 。 


假设 3: 输 入 信号 u(n) 的 谱 内 容 在 比 加 权 误 差 向 量 8(n) 每 一 个 分 量 所 占 频带 更 宽 的 频 
带 上 基本 上 是 平坦 的 ,因此 证 实 了 如 下 近似 
E[é2(n)] = E[le7(n)u(n)/"] 
~ Elje(n)|"]E[u?(n)] (6.28) 
= B(n)E|w(n)] 
其 中 @(n) 为 均 方 偏差 。 注 意 , 式 (6.28) 包 含 输入 信号 u(n) 而 不 是 抽 头 输入 向 量 u(n)。 
假设 3 是 对 LMS 滤波 器 低 通 滤波 作用 的 表述 。 因 此 ,如 在 式 (6.26) 中 使 用 式 (6.28) , 则 可 
得 近似 式 
B(n)E[u?(n) | 
Ele?(n)| 
式 (6.29) 定 义 的 产 , 的 近似 公式 的 实际 意义 源 于 如 下 事实 :仿真 和 实时 实现 证 明了 ,在 大 滤波 
器 长 度 和 语音 输入 情况 下 , 式 (6.29) 提 供 了 对 挛 。 的 良好 近似 (Mader et al. ,2000)。 


6.3 回声 消除 中 的 步 长 控制 


几乎 所 有 的 谈话 都 是 在 存在 回声 的 情况 下 进行 的 。 是 否 可 觉察 到 或 者 可 区 分 ,取决 于 所 
涉及 的 时 延 。 如 果 语 音 与 其 回声 之 间 的 时 延 较 短 ,回声 是 察觉 不 到 的 ,但 可 理解 为 频谱 失真 
( 称 为 反射 ) 的 一 种 形式 。 反 之 ,如 果 语 音 与 其 回声 之 间 的 时 延 较 长 ,超过 几 十 毫秒 ,回声 就 可 
单独 觉察 到 。 

通信 环境 不 可 避免 地 受到 声音 回 波 的 干扰 , 它 包 含 如 下 情况 (Sondhi & Bekey, 1982; Mader 
et al. ,2000; Breining et al. ,2000): 

电话 电路 :在 给 定 的 地 理 区 域 ,每 一 电话 机 都 与 中 心 局 通过 两 条 线 ( 称 为 用 户 环 路 ) 相 连 ， 
以 便 为 通话 者 提供 通信 服务 。 然 而 , 当 电 话 线路 超过 35 公里 时 ,在 不 同 的 通信 方向 使 用 不 同 
的 线路 是 必要 的 。 因 此 ,要 有 装置 完成 两 线 到 四 线 的 转换 ,这 通过 混合 变换 器 ( 即 具 有 三 个 端 
口 的 桥 型 电路 ) 来 实现 。 当 桥 式 电路 平衡 得 不 好 时 ,输入 端口 与 输出 端口 之 间 存 在 耦合 ,从 而 
引起 回声 。 

免 提 电话 :使 用 免 提 电话 时 ,我 们 经 常 发 现 扬声器 和 麦克 风 彼 此 的 距离 像 会 议 电 视 环 境 一 
样 。 在 这 种 情况 下 ,麦克 风 不 仅 得 到 扬声器 发 出 的 语音 信和 号 ,而 且 也 得 到 经 机 索 反 射 获得 得 的 


(6.29) 


Mopt ~ 
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回 波 信和 号。 结果 ,回声 电路 可 能 不 稳定 而 产生 所 谓 “ 哺 叫 ” 声 。 此 外 ,该 系统 的 用 户 也 因为 听 到 
经 系统 环绕 -往返 时 间 而 延迟 了 的 他 们 自己 的 声音 而 感到 烦恼 。 

为 了 克服 这 种 通信 环境 下 存在 回声 所 造成 的 烦恼 ,通常 的 做 法 是 使 用 自 适应 回声 消除 器 
(EC, echo canceller)。 在 电话 电路 中 ,无 论 距离 有 多 远 , 自 适 应 回声 消除 器 可 以 使 通话 者 之 间 
免 受 回声 影响 。 在 免 提 电话 中 , 啸 叫 声音 和 说 话 者 自己 的 延迟 声音 都 可 以 最 小 化 。 

回声 消除 的 基本 原理 可 概括 如 下 : 

自 适 应 地 合成 回声 ,并 从 有 回声 干扰 的 信号 中 减 去 该 合成 回声 。 

实际 上 ,回声 消除 器 是 第 5.3 节 介 绍 的 噪声 消除 过 程 的 一 种 形式 。 为 了 说 明 该 原理 ,考虑 
图 6.2。 它 属于 免 提 电话 环境 (Mader et al. ,2000)。 示 于 图 中 的 两 个 主要 功能 单元 是 : 

© 扬声器 -机 过 -麦克 风 (LEM， loudspeaker-enclosure-microphone ) 

© 回声 消除 器 (EC) 

远 端 说 话 者 的 信号 [用 wu(n) 表 示 ] 通 过 扬声器 发 出 ,被 麦克 风 接 收 ,而 且 与 LEM 的 脉冲 响应 卷 
积 产生 一 个 输出 [用 d(n) 表 示 ]。 由 于 w(n) 被 周围 环境 反射 ,信和 号 d(n) 受 到 回声 的 污染 。 

回声 消除 器 包含 两 部 分 :(1) 横 向 滤波 器 ; (2) 自 适应 和 步 长 控制 器 。 横 向 滤波 器 用 脉冲 响 
应 w(n) 与 远 端 说 话 者 信号 wu(n) 卷 积 得 到 回声 估计 ,并 用 y(n) 表 示 该 估 值 。 就 所 关心 的 回 
声 消除 器 而 言 ,麦克 风 输 出 组 成 了 “期 望 响应 ”。 从 其 输出 d(n) 中 减 去 滤波 器 所 产生 的 “合成 
回声 ”y(n), 即 产生 误差 信号 e(n)。 远 端 信号 uw(n) 与 e(n) 起 到 自 适 应 和 步 长 控制 器 的 作 
用 ,以 便 按照 归 一 化 LMS 算法 调整 滤波 器 的 抽 头 权 值 ,使 得 误差 信号 的 均 方 值 最 小 化 。 其 结 
果 是 ,回声 消除 器 输出 误差 信号 为 受到 污染 的 本 地 说 话 者 信号 提供 了 一 个 估计 。 


自 适应 和 横向 滤波 器 


步 长 控制 器 


误差 信号 
e(n) 





图 6.2 ”回声 控制 系统 结构 框图 
6.3.1 步 长 控制 


式 (6.10) 中 的 归 一 化 LMS 算法 假设 使 用 常数 的 归 一 化 步 长 参数 。 然 而 ,如 果 式 (6.13) 的 
多 重 回归 模型 的 干扰 y(n) 特 性 发 生变 化 ,算法 可 能 会 因为 估计 误差 &(n) 与 e(n) 间 的 不 匹 
配 引起 机 能 失常 。 具 体 来 说 ,假设 本 地 干扰 v(n) 增 大 。 由 于 误差 信号 e(n) 随 v(n) 的 增 大 而 
增 大 , 则 由 式 (6.29) 可 知 ,e(n) 的 增加 将 导致 步 长 参数 a 的 上 界 下 降 。 对 于 目前 情况 ,8 可 能 
将 变 得 过 大 ,从 而 导致 回声 消除 器 不 稳定 。 

影响 回声 消除 器 工作 的 干扰 y(n) 的 产生 ,有 以 下 几 个 因素 : 
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o 本 地 说 话 者 的 语音 信号 导致 自 适应 滤波 器 的 干扰 。 当 本 地 说 话 者 和 远 端 说 话 者 同时 激 
活 时 , 则 有 所 谓 双 说 话 (double-talk)。 

© 存在 永久 的 本 地 噪声 (如 汽车 内 的 背景 噪声 ) , 它 也 将 于 扰 误差 信号。 

e 事实 上 ,由 于 需要 长 的 滤波 器 长 度 , 如 果 不 可 能 的 话 ,也 很 难 考虑 周围 环境 全 部 的 脉冲 
响应 。 源 自 不 能 建 模 的 那 部 分 系统 的 剩余 回声 代表 了 本 地 噪声 的 另 一 来 源 。 

e 定点 数字 信和 号 处 理 器 经 常用 在 目 适 应 滤波 器 的 实现 中 , 以 便 限 制 系统 开销 。 用 在 该 实 
现 中 定点 运算 的 量化 噪声 也 是 本 地 干扰 的 一 个 源头 , 它 也 影响 了 回声 消除 器 的 运行 。 

为 了 对 付 这 些 因素 的 影响 ,必须 减 小 步 长 参数 产 。 然 而 ,使 用 固定 不 变 的 小 步 长 参数 a 

并 不 是 人 们 所 期 望 的 ,原因 如 下 : 


o 在 本 地 干扰 较 大 时 ,zz 可 能 仍然 很 高 ,由 此 引起 滤波 器 不 稳定 。 

e 当 本 地 干扰 较 小 时 ,这 种 情况 也 可 能 出 现 ,小 步 长 的 使 用 降低 了 自 适 应 滤波 器 的 收敛 速率 。 
所 有 这 些 都 是 使 用 步 长 控制 的 原因 ,因此 需要 用 式 (6.20) 的 时 变 步 长 参数 产 (m) 来 取代 Zo 

两 级 控制 原理 (two-stage control principle) 基 于 如 下 方程 


0 WR Hop (7) < TA 
Ksx 其 他 
其 中 zs 是 固定 的 非 零 步 长 ,而 aln) E n 次 迭代 时 的 最 优 步 长 。 根 据 式 (6.30) , WR n wE 
代 时 的 计算 值 zg (ADF Zs 的 一 半 , 则 不 存在 滤波 器 的 自 适 应 。 相 反 ,(n) 在 fig MEW 
数 。 使 用 式 (6.30) ,需要 知道 最 优 步 长 fy, (rn) SEXO MIR, Mader 等 (2000) 代 之 以 使 用 最 优 
步 长 的 近似 来 解决 这 个 问题 。 获 得 这 个 近似 的 一 种 方案 将 在 后 面 介 绍 。 

正如 前 面 所 指出 的 , 式 (6.29) 给 出 了 wo.(n) 的 很 好 近似 。 根 据 此 式 , (nn) 的 估计 变 为 
下 面 三 个 独立 的 估计 问题 ; 


© 误差 信号 功率 的 估计 , 即 EL e?(n)] 
e 输入 信号 功率 的 估计 , 即 E[ wu(n)?] 
o 均 方 偏差 的 估计 , 即 多 (n) 


输入 信号 u(n) 和 误差 信和 号 e(n) 都 是 可 得 到 的 ,所 以 对 它们 各 自 平均 功率 的 估计 是 直截了当 
的 。 然 而 , 均 方 偏 差 多 (n) 的 估计 需要 更 多 对 细节 方面 的 考虑 ,因为 表征 扬声器 -机 过 麦克 风 
环境 的 多 重 回 归 模 型 的 参数 w 是 未 知 的 。 

对 于 信号 x(n) 的 短 时 功率 估计 ,可 以 使 用 凸 组 合 思想 表示 一 阶 递归 过 程 为 


x(n +1) = (1 — y)x?(n + 1) + yx?(n) (6.31) 
EHER n 时 刻 的 功率 估计 , y 是 平滑 常数 。7 的 取 值 一 般 在 [0.9,0.999] 内 。 于 是 ,我 
们 可 以 使 用 式 (6.31) 估 计 误 差 信号 功率 和 输入 信和 号 功率 ,并 令 x(n)=e(n),x(n)= ul(n)。 
下 面 转 到 对 于 均 方 偏差 多 (n) 的 估计 ,我 们 使 用 一 种 ,将 人 工时 延 (artificial delay) 插 人 到 扬 声 
器 -机 壳 - 麦 克 风 系统 的 方法 (Yamamoto & Kitayama, 1982; Mader et al. ,2000)。 这 个 方法 如 图 6.3 
所 示 , 其 中 远 端 说 话 者 信和 号 被 人 为 地 延迟 了 Mo 样 值 。 在 回声 消除 器 中 ,该 延迟 用 自 适应 横向 滤 
波 器 来 建 模 。 因 此 ,对 应 于 人 工时 延 的 “真实 "参数 向 量 w 为 零 ,在 这 种 情况 下 ,我 们 可 令 


b(n) = (6.30) 
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eln) = —w,(n) 对 于 k =0,1,..., Mp-1 (6.32) 


下 面 ,我 们 使 用 如 下 已 知 特性 : 自 适 应 滤波 器 趋向 于 均匀 地 将 加 权 误 差 ( 滤 波 器 失 配 ) 向 量 
s(n) 扩 展 到 它 的 WW 个 抽 涉 上 (Yamamoto & Kitayama,1982)。 于 是 ,使 用 式 (6.32) 所 定义 的 部 分 
滤波 器 失 配 ,将 均 方 偏差 近似 为 


M Mp-1 、 
B(n) ~= Mp > Wi(n) (6.33) 


其 中 M 是 归 一 化 LMS 滤波 器 的 长 度 ,wi (n) 是 M x 1 抽 头 权 向 量 w(n) 的 第 个 分 量 。 最 后 ， 
给 定 由 式 (6.31) 获 得 的 信号 功率 估计 E[e*(n)] 和 EL[w(n)] 以 及 由 式 (6.33) 得 到 的 偏差 
久 (n) 的 估计 ,可 由 多 (n)E[Lw(n)]/E[e*(n)] 计 算 最 优 步 长 faln) 
一 般 地 ,图 6.3 中 基于 人 工 延 迟 的 步 长 控制 具有 良好 的 性 能 。 具 体 来 说 , 当 由 本 地 激励 引 
起 的 误差 信号 e(n) 增 大 时 , 步 长 参数 减 小 ,从 而 避免 了 滤波 器 的 发 散 。 然 而 遗憾 的 是 ,LEM 环 
境 的 变化 可 能 导致 系统 卡 滞 (freezing) ,因为 它 阻 断 了 滤波 器 新 的 自 适应 和 “延迟 ”系数 。 为 了 
克服 这 个 问题 ,需要 一 个 用 于 LEM 的 附加 检测 器 , 它 能 通过 设置 延迟 系数 或 步 长 大 小 为 较 大 
值 使 滤波 器 重新 自 适 应 中 。 
远 端 说 话 者 
信号 u(n) 






p 模 向 法 波 器 
T ae 


图 6.3 含有 均 方 偏差 估计 D(n) 的 框图 结构 ,其 中 z 名 表示 My 个 样 值 的 人 工 延 迟 





”Mader 等 (2000) 给 出 一 个 在 人 为 延迟 方法 中 可 能 发 生 “ 卡 洁 " 现 象 的 例子 , 见 该 文 第 5 页 。 
Mader 等 也 描述 了 另 一 个 估计 均 方 偏差 的 方法 。 无 干扰 误差 信号 $,(n) 可 用 误差 信号 来 近似 ,只 要 满足 以 下 两 个 条 件 : 
。 采用 足够 的 激励 。 
。 本 地 说 话 者 没有 激活 , 它 需 要 使 用 可 靠 的 单 谈话 检测 方案 。 
当 远 端 单 谈话 存 在 时 ,一 种 回归 平滑 形式 被 用 来 估计 均 方 偏差 ;否则 , 旧 的 值 保留 。 于 是 , 久 , (=) 表 示 基 于 功率 估 
计 的 均 方 偏差 。 对 于 实数 据 , 它 可 写 为 (Mader et al. ,2000) 
e*(n)him=o 
u(n) 








Dn) = 
e(n) 
[aD a UE 
Dn ~ 1) 其 他 
其 中 7 为 小 于 1 的 正常 数 。 上 式 步 长 控制 的 优点 在 于 , 当 LEM 系统 受到 干扰 时 它 不 会 产生 自 适应 卡 滞 。 
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6.4 实数 据 时 收敛 过 程 的 几何 考虑 


根据 式 (6.9) , 它 把 权 向 量 调整 量 6w(n + 1) 用 于 n+ 1 次 迭代 的 归 一 化 滤波 器 ,我 们 观察 
到 如 下 现象 


1) 调整 量 6w(n + 1) 的 方向 与 输入 向 量 ua(n) 的 方向 一 致 。 
2) 调整 量 56w(n + 1) 的 大 小 取决 于 输入 向 量 u(n) 与 u(n -1) 的 样 值 相 关系 数 。 对 于 实 
数据 而 言 ,该 系数 定义 为 
u (n)u(n — 1) 
Peanole() = Tac = un 1) 

(本 节 仅 讨 论 实数 据 ,原因 在 于 减轻 几何 表示 的 负担 ,) 

从 几何 观点 看 , 式 (6.34) 具 有 很 深 的 含义 , 当 g =1 和 MM=3 时 如 图 6.4(a) 所 示 。 两 个 M 
维 空间 的 元 素 , 即 输入 数据 空间 和 权 值 空间 已 经 在 图 中 表示 。 具 体 来 说 , r, 是 所 有 权 向 量 
w(n) 的 集合 , 它 作用 于 输入 向 量 mn) 以 产生 输出 y(n), 而 且 类 似 的 定义 用 于 x,_,。 超 平面 
nm, Sm, KA 6 就 是 输入 向 量 az) 与 a(n - 1) 的 夹 角 。 由 信号 空间 理论 可 知 ,向 量 u(n) 
与 a(n -1) 的 夹 角 的 余弦 定义 为 它们 的 内 积 被 其 欧 氏 范 数 上 u(n) || 和 | un - 1) 1 的 乘积 相 
除 (Wozencraft & Jacobs,1965)。 因 此 ,可 将 观察 2) 细 化 为 : 


2a) 当 6 = +90°[ 即 输入 向 量 n(n) 与 u(n - 1) 相互 正 交 ] 时 , 归 一 化 LMS 滤波 器 的 收敛 速 
率 最 快 。 
2b) 当 0 = 0? 或 180?[ 即 输入 向 量 ulan) ulna -1) 处 于 相同 方向 或 相反 方向 ] 时 , 归 一 化 
LMS 滤波 器 的 收敛 速率 最 慢 。 
为 了 防止 2b) 的 情况 出 现 [ 即 保持 收敛 速率 基本 上 为 常数 ,独立 于 输入 向 量 u(n) 与 a(n -1) 之 
间 的 夹 角 90], 我 们 使 用 称 为 仿 射 投影 滤波 器 (affine projection filter) 的 广义 归 一 化 LMS 滤波 器 
(Ozeki & Umeda, 1984)。 
当 赤 =1 和 M=3 时 ,这 个 新 的 滤波 器 工作 原理 的 几何 描述 如 图 6.4(b) 所 示 。 在 图 中 ， 
x, Nm 表示 它们 的 交集 。 将 它 与 图 6.4(a) 的 归 一 化 滤波 器 比较 可 以 发 现 ,在 权 值 空间 内 ， 
Ww(n+1) 与 w(n) 的 连 线 正 交 于 r, 门 x, .1 ,而 不 是 Xo 
在 多 维 空间 下 ,我 们 应 当 区 别 子 空间 和 仿 射 子 空间 (affine subspace)。 根 据 定义 , 子 空间 通 
过 多 维 空间 的 原点 ,而 仿 射 子 空间 不 会 。 参 考 图 6.4(b) ,我 们 注意 到 超 平面 x, 与 x,.1 并 没有 
包含 M 维权 值 空间 。 因 此 r, N x,_1 是 仿 射 子 空间 ,从 而 得 到 “ 仿 射 投影 滤波 器 ”的 名 字 。 其 
算法 将 在 后 面 讨论 20。 





(6.34) 





@ Gay 和 Benesty(2000) 编 辑 的 书 介绍 了 仿 射 投 影 滤波 器 的 详细 表述 及 其 "快速 "实现 以 及 在 回声 消除 和 噪声 控制 中 的 
应 用 。 除 了 单 信 道 回 声 消除 器 外 ,该 书 还 讨论 了 多 信道 回声 消除 和 涉及 麦克 风 阵 列 的 进一步 改进 系统 。 
仿 射 投影 滤波 器 以 及 它 在 回声 消除 中 的 应 用 ,在 Benesty 等 (2001) 的 书 中 有 所 讨论 。 
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(a) 归 一 化 LMS 算法 





(b) 仿 射 投影 自 适 应 算法 
图 6.4 归 一 化 LMS 算 法 和 仿 射 投影 自 适应 算法 的 几何 解释 。 图 中 向 量 w 表 示 多 重 回归 模型 的 未 知 参数 向 量 


6.5 仿 射 投影 滤波 器 


我 们 用 数学 形式 将 仿 射 投影 滤波 器 设计 准则 表示 为 如 下 约束 最 优化 问题 : 


最 小 化 如 下 权 值 向 量变 化 量 的 平方 欧 氏 范 数 Be 
3%(n + 1) = W(n + 1) — Wn) ‘6 35) 
其 约束 条 件 为 eo 
d(n — k) = "(n + 1)u(n — k) XF k =0,1,...,N—1 GY 
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式 中 六 小 于 输入 数据 空间 (或 权 值 空间 ) 的 维 数 Mo 


这 个 约束 最 优 准 则 将 归 一 化 LMS 滤波 器 作为 其 一 个 特例 ,NN = 1。 我 们 可 以 将 约束 个 数 N 
看 做 仿 射 投影 自 适应 滤波 器 的 阶 数 。 

根据 附录 C 的 多 约束 拉 格 朗 日 乘 子 法 ,可 结合 式 (6.35) 和 式 (6.36) 建 立 如 下 仿 射 投影 滤 
波 器 的 代价 函数 


J(n) = [Wn +1) — (n)? + S Re[at(a(n —k) — W¥%(n +1)u(n—k))|] (6.37) 
k=0 
在 这 个 函数 中 , 拉 格 朗 日 乘 子 1 属于 多 个 约束 。 为 了 表示 方便 起 见 , 引 入 如 下 定义 : 
© Nx M 数据 矩阵 A(n), 其 埃 尔 米 特 转 置 定义 为 


A"(n) = [n(n),un — 1),...,u(n — N + 1)] (6.38) 
e Nxl 期 望 响 应 向 量 , 它 的 埃 尔 米 特 转 置 定 义 为 
d”(n) = [d(n),d(n — 1),...,d(n — N + 1)] (6.39) 
@ N x1 拉 格 朗 日 向 量 , 它 的 埃 尔 米 特 转 置 定义 为 
AT = [Mo Anal- (6.40) 
利用 式 (6.37) 的 矩阵 定义 ,可 用 更 紧凑 的 形式 重新 定义 代价 函数 为 
J(n) = |%n + 1) — W(n)I? + Re[(d(n) — A(n)W(n + 1))"a] (6.41) 
则 根据 附录 B 的 复 值 向 量 的 微分 规则 可 见 , 代 价 函 数 J(m) 对 权 向 量 wn + 1) 的 微分 为 
Se = 2(Ww(n + 1) — W(n)) 一 A¥(n)à 
设 该 导数 为 零 , 可 得 
5W(n + 1) = 了 AR(m)》 i (6.42) 


为 了 从 式 (6.42) 中 消去 拉 格 朗 日 乘 子 向 量 和 ,首先 使 用 式 (6.38) 和 式 (6.39) 的 定义 ,以 等 
价 形式 重 写 式 (6.36) 为 
d(n) = A(n)W(n + 1) (6.43) 
然后 ,在 式 (6.42) 两 边 同 时 左 乘 以 A(n) 并 使 用 式 (6.35) AK (6.43) 消去 更 新 的 权 向 量 
w(n + 1) , 则 得 
d(n) = A(n)W(n) + Z A(n)A(n)A (6.44) 
由 此 ,可 以 推出 如 下 结果 : 
e 基于 n 次 迭代 得 到 的 数据 d(n) 与 A(n)w(n) 之 间 的 差 是 一 个 N x 1 误差 向 量 
e(n) = d(n) — A(n)w(n) (6.45) 
© REFER A(n)A”(n) 是 一 个 N x N EE, EA (A(n)A"(n)) 7. 
因此 ,对 拉 格 朗 日 乘 子 向 量 和 求解 式 (6.44) ,得 
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A = 2(A(n)A"(n)) eln) (6.46) 
将 这 个 解 代 人 式 (6.42) ,得 到 权 向 量 的 最 优 变化 量 为 
SW(n + 1) = A4(n)(A(n)(A”(n)) eln) (6.47) 


最 后 ,我 们 需要 对 从 一 次 迭代 到 下 一 次 选 代 的 权 向 量 进行 控制 ,但 保持 方向 相同 。 为 此 ， 
把 步 长 参数 引入 式 (6. 行 ) ,结果 得 到 
BW(n + 1) = KAR(n)(A(n)A“(n)) eln) (6.48) 
等 价 地 ,可 写 出 
Wn +1) = W(n) + BA" (n)(A(n)A*(n)) eln) (6.49) 
它 就 是 我 们 所 期 望 的 仿 射 投影 滤波 器 的 更 新 方程 。 这 个 算法 的 在 表 6.2 中 总 结 。 
表 6.2 仿 射 投影 自 适应 滤波 器 小 结 





参数 : 
M = 抽 头 数 
A = 自 适 应 常数 
N = 多 重 约 东 数 , 它 定义 了 滤波 器 阶 数 
初始 化 : 
如 果 知 道 抽 头 权 向 量 的 先 验 知 识 , 则 用 它 来 选择 w(0) 的 适当 值 ;否则 令 w(0) =0 
数据 : 
。 给 定 的 :u(n) = 第 n 时 间 步 Mx1 抽 头 输入 向 量 
=[u(n),u(n-1),...; u(n-M+1)]" 
d(n) = 第 n 步 期 望 响 应 
。 要 计算 的 :w(n+1) = 第 n+1 时 间 步 抽 头 权 向 量 估 计 
计算 : 
对 n=0,1,..., 计 算 
A#(n) =[u(n),u(n-1),..., u(n-N+1)] 
d¥(n)=[d(n),d(n-1),..., d(n~N+1)] 
e(n) =d(n) ~ A(n)¥(n) 
Wn +1) =@(n) +A" (n)(A(n) A" (n)) teln) 


6.5.1 仿 射 投影 算 子 
正如 第 6.4 节 所 阐述 的 ,更 新 的 权 向 量 Ww(n + 1) 是 仿 射 投影 算 子 作用 于 wn) 的 结果 。 为 
了 确定 该 算 子 ,将 式 (6.45) 代 和信 式 (6.49) ,得 到 
Wn + 1) = [I - BAM(n)(A(n)AM(n)) A(x) ®t) 
+ RA” (n)(A(n)A"(n)) d(n) 
式 中 I 是 单位 阵 。 定 义 投影 算 子 (projection operator) 
P = A%(n)(A(n)A*(n)) A(n) (6.51) 
它 由 数据 矩阵 ACn) 惟 一 确定 。 对 于 给 定 的 FE,A(n) 和 dl(n) ,互补 投影 算 子 (complement pro- 
jector) [I- AP] 作 用 于 旧 的 权 向 量 w(n) 产 生 更 新 后 的 权 向 量 w(n + 1)。 更 重要 的 是 , 式 


(6.50) 
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(6.50) 的 第 2 项 使 得 互补 投影 成 为 仿 射 投影 而 不 是 一 般 的 映射。 

在 第 8 章 讨论 最 小 二 乘法 时 将 会 看 到 , 当 NN 小 于 M 时 ,矩阵 A?(n)(A(n)A*(n))-! 是 数 
据 A(n) HIDIR (pseudoinverse). H A* (n) 表 示 伪 逆 , 则 式 (6.50) 可 简化 为 

W(n + 1) = [I — AA'(n)A(n) Wn) + At'(n)d(n) (6.52) 

事实 上 , 正 是 因为 定义 式 (6.52) ,使 得 我 们 可 依据 计算 复杂 性 和 性 能 将 仿 射 投影 滤波 器 看 做 第 
6.1 节 介 绍 的 归 一 化 LMS 滤波 器 与 第 9 章 介 绍 的 递归 最 小 平方 滤波 器 之 间 的 中 间 自 适应 滤波 
器 。 ， 
6.5.2 仿 射 投影 自 适应 滤波 器 的 稳定 性 分 析 


与 归 一 化 LMS 滤波 器 一 样 ,可 把 仿 射 投影 滤波 器 的 稳定 性 分 析 建 立 在 式 (6.15) 定 义 的 均 
方 偏差 多 (n) 的 基础 上 。 从 作为 参考 框架 的 多 重 回 归 模 型 的 未 知 权 向 量 w 中 减 去 式 (6.49) ,得 
到 
e(n +1) = e(n) — pA" (n)(A(n)A"(n)) le(n) (6.53) 
在 多 (n) 的 定义 式 中 使 用 这 个 更 新 方程 , 重 排 并 简化 各 项 ,得 到 
Pn + 1) — B(n) = wWE[e(n)(A(n)A"(n))‘e(n)] 
- 2jiE(Re[ et (n)(A(n)A"(n))'e(n)]} (6:59 
其 中 
E,(n) = A(n)(w — W(n)) (6.55) 
是 无 干扰 误差 向 量 。 由 式 (6.54) 可 知 , 均 方 偏差 8(m ) 随 着 和 迭代 次 数 n 的 增 大 单调 下 降 , 只 要 
假设 步 长 参数 去 满足 如 下 条 件 
2E{Re[é! (n)(A(n)A"(n)) ‘e(n)]} 





O<p Fj (6.56 
SES Ele” (n)(A(n)A"(n)) eln)] 
它 包 含 式 (6.18) 归 一 化 LMS 滤波 器 的 相应 公式 作为 其 特例 。 最 优 步 长 定义 为 
E{Relé#(n)(A(n)A”(n))" 
g, = ERLEA A m em} (6.59) 


E[e4(n)(A(n)A"(n)) ‘e(n)] 

为 了 简化 这 个 公式 ,我 们 把 归 一 化 LMS 算法 中 假设 1 和 假设 2 推广 为 如 下 假设 : 
假设 4: SK — KARE) FPR, ERR A(n)A”(n) 之 逆 的 波动 足够 小 以 使 得 及 IE 
似 为 


_ E{Relé£(n)e(n)]} 
"aS Bile] (6:58 
假设 5: 无 干扰 误差 向 量 E, (7m) 与 干扰 误差 (噪声 ) 向 量 不 相关 
vi(n) = [v(n),v(n — 1),..., p(n- N + 1)] (6.59) 


推广 到 复数 据 时 ,假设 3 可 很 好 地 用 于 仿 射 投影 滤波 器 。 从 而 ,引用 假设 3 和 假设 4, 可 将 
式 (6.57) 简 化 为 


对 于 实数 据 , 上 式 中 取 滤 波 器 阶 数 N = 1, 式 (6.60) 退 化 为 归 一 化 LMS 算法 的 式 (6.,29)。 
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_ _ E{iiéu(n)|?} ale 
Hop 一 Elle] ye] 
-1 


2E [lé.(n — K)|] 


Elle(n — K)f] 





B(n — Kk)E[lu(n — k)|"] 


N-1 5 
> Elle(n - K)f] 
k=0 


6.5.3 仿 射 投影 自 适应 滤波 器 收敛 特性 的 观察 


仿 射 投影 滤波 器 的 一 个 主要 优点 是 其 收敛 速率 优 于 归 一 化 LMS 滤波 器 。 对 于 仿 射 投影 
滤波 器 的 收敛 特性 ,有 如 下 观测 结果 (Sankaran & Beex,2000): 


1) 仿 射 投影 自 适应 滤波 器 的 学 习 曲 线 由 指数 项 之 和 组 成 。 


2) 仿 射 投影 自 适应 滤波 器 的 收敛 速率 快 于 对 应 的 归 一 化 LMS 滤波 器 。 
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(6.60) 


3) 随 着 使 用 更 多 的 延 述 型 抽 头 输入 向 量 u(n)( 即 随 着 滤波 器 阶 数 NN 增 大 ) ,收敛 速率 加 
快 ,但 获得 的 收敛 率 改善 变 小 。 


在 任何 情况 下 ,收敛 特性 的 改善 以 计算 复杂 度 的 增加 为 代价 。 这 将 在 后 面 讨论 。 
6.5.4 实际 考虑 


对 于 仿 射 投影 自 适应 滤波 器 , 式 (6.49) 中 N x N 和 矩阵 乘积 A(n)A”(n) 之 道 , 对 该 更 新 方 
程 提出 两 点 实际 改进 的 考虑 : 


© 注意 噪声 数据 的 正则 化 
© 改善 计算 效率 的 快速 实现 
下 面 ,依次 考虑 这 两 个 问题 : 


1) 正则 化 ”在 噪声 环境 下 , N x N 和 矩阵 乘积 A(n)A”(n) 之 道 可 能 发 生 数 值 的 困难 。 为 
了 防止 这 种 情况 发 生 , 通 过 在 这 个 乘积 中 加 上 6I 来 修改 该 乘积 ,其 中 6 是 一 个 很 小 的 


正常 数 ,I 是 N x N 单位 阵 。 将 这 个 修正 引入 到 式 (6.49) 中 ,可 得 到 
Wn +1) = W(n) + Z@A*(n)(A(n)A4(n) + ôD eln) 
这 个 新 的 更 新 方程 将 式 (6.12) 作 为 其 特例 。 具 体 来 说 ， 


和 


A(n) = u(n) 


令 N=1 或 


(6.61) 
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则 根据 式 (6.38) 和 式 (6.39) 的 定义 容易 看 出 , 式 (6.61) 的 特殊 形式 为 式 (6.12)。 
式 (6.61) 引 人 的 修正 称 为 正则 化 (在 第 9 章 将 更 详细 地 讲述 这 个 问题 )。 事 实 上 ,该 技术 
用 来 避免 “ 近 端 噪声 放大 ”。 例 如 ,在 回声 消除 应 用 中 ,误差 信号 e(n) 包 含 了 近 端 噪声 。 如 果 
矩阵 A(n)A“ (nm) 的 逆 较 大 ,这 种 近 端 噪声 将 破坏 自 适应 ,从 而 需要 调整 它 。 式 (6.61) 中 的 参 
` A 5 称 为 正则 化 参数 。 . 
2) RRM ” 当 投 影 维 数 NN NAKE, IRC. 61A Ww OR LF R 
的 是 , 仿 射 投影 自 适应 滤波 器 性 能 的 提高 是 以 牺牲 计算 复杂 度 为 代价 的 。 为 了 降低 计 
算 复杂 度 , 我 们 需要 找到 仿 射 投影 自 适应 滤波 器 的 一 种 实现 ,使 得 它 与 滤波 器 阶 数 M 
的 关系 是 线性 的 。 这 样 的 一 种 实现 通常 称 为 “快速 ”实现 。 

仿 射 投影 自 适应 滤波 器 的 快速 实现 可 以 在 时 域 ,也 可 以 在 频 域 ， 

e 时 域 方法 ”利用 输入 向 量 u(n) 的 时 移 特 性 (time-shifting property)。 这 个 特性 具体 表现 
为 :un) 及 其 前 面 的 值 ua(n -1) 共 享 元 素 u(n-1),...,u(n-M+1), EP M BRA 
空间 的 维 数 。 Gay 和 Tavathia( 1995 ) 设 计 的 快速 仿 射 投影 (FAP, fast affine projection ) 滤波 
器 就 使 用 这 个 方法 。 

e@ 频 域 方法 ”利用 基于 快速 “ 卷 积 " 思 想 的 快速 FIR 滤波 技术 , 它 使 用 快速 傅 里 时 变换 。 
Tanaka 等 (1999) 设 计 的 精确 分 块 的 快速 仿 射 投影 (BEFAP, block exact fast affine projec- 
tion) 滤 波 器 使 用 这 个 方法 。 

遗憾 的 是 , 仿 射 投影 滤波 器 的 正则 化 与 快速 实现 很 可 能 冲突 ,因为 前 面 提 到 的 快速 型 滤波 器 依 
赖 于 某 种 近似 , 而 如 果 应 用 正则 化 就 会 违背 这 一 近似 (Rombouts & Moonen,2000)。 具 体 来 说 ， 
在 推导 FAP 滤波 器 (其 中 BEFAP 滤波 器 是 精确 分 块 的 频 域 实现 ) 时 ,所 做 近似 最 终 将 得 到 如 下 
方程 (Gay & Tavathia, 1995) 

e(n) ~ (1— Re(n—1) for i>1 (6.62) 
其 中 e;(n) 表 示 误 差 向 量 eln) 的 第 i 个 分 量 。 然 而 , 当 使 用 某 种 正则 化 时 ,该 近似 有 时 会 导致 
不 可 接受 的 结果 ,正如 Rombouts 和 Moonen(2000) 所 证 明 的 那样 。 为 此 ,他 们 导出 了 不 涉及 上 
述 近 似 的 仿 射 投影 滤波 器 。 这 个 新 算法 中 的 主要 修改 是 引入 指数 窗口 0, 其 定义 为 


Zi(n) = [AZ(n — 1) + (njn) (6.63) 
其 中 A 是 指数 加 权 因 子 , 其 取 值 范围 在 0<4<1, 且 
ZA(n) = [ 归 一 化 (A(n)A%(n))] (6.64) 
式 (6.63) 中 修改 的 抽 头 输入 向 量 定义 为 
站 (2) = [u(n), u(n — 1),...,u(n ~ N) | (6.65) 
(ES: eS a(n) KERE N+ 1,1 u(n) se M 维 的 。] 因 此 式 (6.49) 被 取代 为 
W(n + 1) = W(n) + @A*(n)g(n) (6.66) 


其 中 g(n) 是 Nx1 向量, 它 与 误差 向 量 e(n) 的 关系 为 


@ 作为 正则 化 的 一 种 方式 ,指数 窗 首 先 由 Papadias 和 Slock(1994) 提 出 。Rombouts 和 Moonen(2000) 引 入 的 主要 改进 是 
能 够 以 较 小 的 额外 代价 在 每 一 次 迭代 中 重新 计算 先 验 误差 向 量 。 
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g(n) = [Z(n)] e(n) (6.67) 
Rombouts 和 Moonen(2000) 用 模拟 结果 证 明了 正则 化 的 明显 效果 。 指 数 窗 的 使 用 防止 期 望 响 应 
d(n) 中 出 现 噪 声 时 滤波 器 的 抽 头 权 值 偏离 正确 的 解 。 


6.6 ”本章 小 结 


在 这 一 章 中 ,通过 引入 归 一 化 LMS 滤波 器 和 仿 射 投影 滤波 器 扩展 了 LMS 滤波 器 的 范围 。 
归 一 化 LMS 滤波 器 不 同 于 传统 的 LMS 滤波 器 ,其 不 同 在 于 控制 滤波 器 抽 头 权 向 量 调整 的 步 长 
参数 的 定义 方式 不 同 。 在 传统 LMS 滤波 器 中 步 长 大 小 为 一 标量 参数 j ,在 归 一 化 LMS 滤波 器 
情况 下 , 步 长 参数 定义 为 /A( || u(n) |? +6) RE A 是 没有 量 纲 的 , | u(n) | 是 抽 头 输入 向 
E u(n) 的 欧 氏 范 数 ,6 是 一 个 小 的 正常 数 。 归 一 化 LMS 滤波 器 的 优点 如 下 : 
1) 归 一 化 LMS 滤波 器 减轻 了 梯度 噪声 放大 问题 , 当 抽 头 输入 向 量 u(n ) 较 大 时 ,将 会 发 生 
这 个 问题 。 
2) 无 论 是 不 相关 还 是 相关 数据 , 归 一 化 LMS 滤波 器 的 收敛 速率 都 可 能 快 于 传统 LMS 滤 
波 器 。 
仿 射 投影 滤波 器 是 归 一 化 LMS 滤波 器 的 推广 。 有 具体 来 说 , 归 一 化 LMS 滤波 器 抽 头 权 向 量 
的 调整 项 Ku(n)e” (n)/( || u(r) 上 ?+6) 为 更 复杂 的 LA”(n)(A(n)A”(n)+ 61) eln) ER 
蔡 , 其 中 I 工 是 单位 矩阵 ,6 是 一 个 小 正常 数 。 
Am = [u(n), u(n ~ 1),u(n — N + 1)] 
e(n) = d(n) — A(n)w(n) 


d"(n) = [d(n), d(n - 1),...,d(n — N + 1)] 
由 于 抽 头 输入 向 量 u(n) 和 期 望 响应 d(n) 使 用 (N - 1) 个 过 去 值 , 因此 仿 射 投影 滤波 器 可 
看 做 是 介 于 归 一 化 LMS 滤波 器 与 递归 最 小 平方 滤波 器 之 间 的 自 适 应 滤波 器 (将 在 第 9 章 讨 
论 )。 所 以 , 仿 射 投影 滤波 器 以 计算 复杂 性 为 代价 来 换取 收敛 性 的 改善 。 


6.7 习题 


1. 在 第 6.1 节 ,我 们 推导 了 归 一 化 LMS 算法 。 在 这 个 问题 中 ,我 们 通过 修改 传统 LMS 算法 中 的 
最 速 下 降 算法 来 推导 归 一 化 LMS 算法 。 这 种 修改 涉及 将 该 方法 中 抽 头 权 向 量 更 新 值 写 为 


wn + 1) = w(n) — 5 a(n) ¥(n) 
其 中 p(n) ER KSB, V (m) 是 梯度 向 量 ,其 定义 如 下 
V(n) = 2[Rw(n) 一 p] 


AP R 是 抽 头 输入 向 量 az) 的 相关 矩阵 ,p EAA u) AA d(n) E. 
相关 向 量 。 
(a) Æ n +1 时刻, 均 方 误差 定义 为 


ie) 


o 


N 
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J(n +1) = Elle(n + 1)?] 
其 中 
e(n + 1) =d(n +1) — w#(n+ 1)u(n + 1) 
确定 步 长 参数 的 值 u(n MERTEN RAV (n) RRI J(n+1) 最 小 化 。 
(b) 使 用 (a) 中 导出 的 y(n) 表 达 式 中 RAV (z) 的 瞬 态 估计 ,确定 相应 u, (Cn) EASA 
计 。 由 此 ,表示 抽 头 权 向 量 w(m) 的 更 新 公式 ,并 将 所 得 结果 与 归 一 化 LMS 算法 得 到 的 
结果 进行 比较 。 


. 完成 式 (6.8) 推 导 的 细节 。 除 了 标 度 因子 & 外 , 式 (6.8) 定 义 了 归 一 化 LMS 滤波 器 的 抽 头 权 


向 量 w(n) 的 失调 量 Sw(n+ 1). 


. 用 两 个 统计 量 表示 归 一 化 LMS 算法 的 权 值 更 新 。 给 定 步 长 参数 产 , 抽 头 输入 向 量 


u(n) = [u(n),u(n — 1),...,u(n -M +1) 
以 及 对 应 的 期 望 啊 应 4(n) ,一 个 统计 量 的 更 新 公式 为 


(1) w,(n + 1) = w,(n) + u(n — k)e*(n) k=0,1,...,.M-—-1 


FF 
lu(n — k)P 
其 中 

M-i 
e(n) = d(n) 一 2 wi nun - k) 


男 一 个 统计 量 的 更 新 公式 为 


(2) wln + 1) = w,(n) + (n — k)e*(n) k=0,1,...,M 


EE u 
[uh 
其 中 e(n) 定 义 如 前 , || u(r) 是 u(n) 的 欧 氏 范 数 。 

这 两 个 式 子 的 不 同 在 于 其 归 一 化 方式 不 同 。 考 虑 第 6.1 节 提 出 的 归 一 化 LMS 滤波 器 
理论 , 哪 一 个 公式 是 正确 的 ? 试 证 明 你 的 结论 。 


. 完成 式 (6.47) 推 导 的 细节 。 除 了 需要 标 度 因子 外, 式 (6.47) 定 义 了 仿 射 投影 滤波 器 的 抽 


头 权 向 量 w(n) 的 失调 量 Ow(n + 1)。 

给 出 一 个 表格 ,总结 以 下 三 个 LMS 系列 的 优 缺 点 : 
(a) 传统 的 LMS 滤波 器 

(b) 归 一 化 LMS 滤波 器 

(e) 仿 射 投影 自 适应 滤波 器 


. 设 


Wscated( 11) = au(n) 
其 中 a 是 标 度 因子 。 令 WOA wuuu(zm) 表 示 选 代 次 数 为 n 时 计算 得 到 的 抽 头 权 向 量 , 它 
们 分 别 对 应 输入 n(n) 和 uwwa(n)。 证 明 从 相同 的 初始 条 件 出 发 ,等 式 


Wscaled( 71) = (n) 


“对 于 归 一 化 LMS 滤波 器 和 仿 射 投影 自 适应 滤波 器 都 成 立 。 
. 仿 射 投影 自 适应 滤波 算法 用 来 估计 自 回归 (AR) 过 程 的 相关 系数 ,该 自 回归 过 程 定义 为 
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u(n) = Swtun —k) + v(n) 
其 中 "(m) 是 零 均 值 的 白 高 斯 噪声 过 程 。 
(a) 假设 算法 中 的 约束 个 数 为 W ,推导 计算 AR 相关 系数 w, wi, ... wy WRK. 
(b) 定义 Mx1 向量 
p(n) = [I — AM(n)(A(n)AM(n))“A(n)]u(n) 
其 中 
u(n) = [u(n) u(n — 1),...,u(n — M + D 
H 
A” (na) = [u(n),u(n — 1),...,u(n — N + 1)] 
证 明 $(n) 是 一 个 向 量 , 其 元 素 是 零 均 值 白 高 斯 噪声 过 程 的 估 值 。 
8. 在 关于 归 一 化 LMS 滤波 器 和 仿 射 投影 自 适应 滤波 器 文献 中 ,条 件 
0<< 太 <2 
通常 作为 这 些 滤 波 器 稳定 的 必要 条 件 。 对 于 归 一 化 LMS 滤波 器 的 式 (6.19) 和 仿 射 投影 滤 
波 器 的 式 (6.57) ,讨论 什么 情况 下 及 的 上 界 为 2 是 正确 的 。 
9. 说 明 如 下 的 陈述 是 正确 的 : 
(a) 归 一 化 LMS 滤波 器 的 计算 复杂 度 为 0(M) ,其 中 M 是 滤波 器 的 长 度 。 
(b) 仿 射 投影 自 适 应 滤波 器 的 计算 复杂 度 为 0(MNV) ,其 中 N 是 滤波 器 的 阶 数 。 
10. 计算 机 实验 
在 这 道 习题 中 ,我 们 重新 考虑 第 5 章 习 题 21 的 计算 机 实验 。 给 定 AR 过 程 为 
u(n) au(n — 1) — agu(n — 2) + v(n) 
其 中 a, = 0.1, a2 = -0.8,v(n) 是 均值 为 零 的 白 噪声 ,方差 的 选择 使 得 wx(n ) 的 方差 为 1。 
(a) 画 出 用 来 估计 AR 参数 a, 和 a, 的 归 一 化 LMS 滤波 器 的 学 习 曲 线 。 计 算 中 使 用 如 下 








参数 

z= 0.2 
和 

6 = 05 


图 中 结果 是 该 实验 的 100 次 独立 试验 集 的 平方 误差 信号 e(n) 的 平均 。 

(b) 画 出 抽 闫 权 值 估计 的 相应 误差 。 

(c) 4 8 4H 0.25 A 0.75 时 ,重复 (a) 和 (b) 的 实验 ,并 考察 6 变化 对 观测 结果 有 什么 
影响 ? 
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在 第 5 章 和 第 6 章 所 介绍 的 传统 和 归 一 化 LMS 算法 中 ,有 限 脉冲 响应 (FIR finite-duration 
impulse response) 滤 波 器 的 抽 头 权 值 在 时 域 进行 调整 。 考 虑 到 传 里 叶 变换 将 时 域 映 射 为 频 域 ， 
而 有 反 变换 则 将 频 域 映射 为 时 域 。 因 此 ,在 频 域 进行 滤波 器 参数 自 适应 调整 是 同样 可 行 的 。 这 
就 是 频 域 自 适 应 滤波 (FDAF, frequency-domain adaptive filtering) , 它 的 起 源 可 以 追溯 到 Walzman 
和 Schwartz(1973) 的 早期 论文 。 

在 频 域 寻 求 自 适 应 的 原因 如 下 : 


1. 在 特定 应 用 领域 ,如 电视 会 议 中 回声 消除 , 自 适应 滤波 器 需要 有 很 长 的 脉冲 响应 来 处 
理 同 样 长 的 回声 持续 时 间 。 当 LMS 滤波 器 进行 时 域 自 适应 时 ,其 长 记忆 要 求 将 导致 算 
法 计算 复杂 度 增 加 。 频 域 自 适应 滤波 器 提供 了 解决 计算 复杂 性 问题 的 一 种 可 能 方案 。 

2. 其 机 理 不 同 于 第 1 点 所 述 的 自 正 交 化 自 适 应 滤波 器 ,也 可 用 来 改善 传统 LMS 滤波 器 的 
收敛 性 能 。 在 这 种 情况 下 ,通过 利用 离散 传 里 时 变换 (DFT, discrete Fourier transform) 和 
相关 离散 变换 的 正 交 性 可 以 获得 更 加 一 致 的 收敛 速率 。 


本 章 将 讨论 上 述 两 种 频 域 自 适应 滤波 方法 。 同 时 也 讨论 了 不 同 于 自 正 交 自 适应 滤波 器 的 
子 带 自 适应 滤波 器 。 在 子 带 自 适 应 滤波 器 中 ,具有 高 阻 带 衰 减 的 滤波 器 用 来 进行 输入 信和 号 的 
频带 划分 ,从 而 有 可 能 在 频 域 改善 频 域 自 适应 滤波 器 的 收敛 特性 。 此 外 ,通过 抽取 子 带 信号 
( 即 降低 取样 速率 ) ,有 可 能 获得 计算 复杂 度 的 大 大 降低 。 因 此 , 子 带 自 适应 滤波 器 是 频 域 自 适 
应 滤波 器 男 外 一 种 颇具 吸引 力 的 选择 。 

为 了 简化 表述 ,本 章 仅 限于 讨论 实数 据 的 情况 。 


7.1 块 自 适应 滤波 器 


在 如 图 7.1 所 示 的 块 自 适应 滤波 器 中 ,输入 数据 序列 x(m) 通 过 串 -并 变换 器 被 分 成 二 点 
的 块 ,而且 这 样 产生 的 输入 数据 块 被 一 次 一 块 地 加 到 长 度 为 M 的 FIR 滤波 器 。 在 收集 到 每 一 
块 数据 样 值 后 ,进行 滤波 器 抽 头 权 值 的 更 新 ,使 得 滤波 器 的 自 适 应 一 块 一 块 地 进行 ,而 不 是 像 
传统 LMS 滤波 器 那样 一 个 样 值 一 个 样 值 地 进行 (Clark et al. ,1981; Shynk ,1992) 。 

根据 前 几 章 引入 的 符号 , 令 


u(n) = [u(n),u(n — 1),...,u(n - M + 1)]" (7.1) 
表示 时 刻 n 输入 信号 向 量 。 相 应 地 , 令 
W(n) = [ooln), in),..., @y—1(n) |" (7.2) 
表示 时 刻 n 滤波 器 抽 头 权 向 量 。 令 表示 块 的 下 标 , 它 与 原始 样 值 时 间 n 的 关系 为 
n=kL+i i=0,1,...,L-1 (7.3) 


k = 1,2,... 
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其 中 工 是 块 的 长 度 。 第 k 块 的 输入 数据 定义 为 ia( 刀 + 六 上 ,其 矩阵 形式 为 
A7(k) = [u(kL), u(kL + 1),...,u(kL + L — 1)] (7.4) 





图 7.1 块 自 适应 滤波 器 


在 这 个 输入 数据 块 持续 期 间 ,滤波 器 的 抽 头 权 向 量 保持 为 这 (k), 它 是 n= 时 Ww(n) 的 一 个 改 
写 。 图 7.2 说 明了 滤波 器 长 度 站 = 6 和 块 长 度 工 =4 时 数据 矩阵 A() 的 结构 。 


ANGE FE EA (k) 





uT (4k) 





ul(4k + 




















TENI SUR REL 
ul(4k + 2) ‘= 2 | a= 
wak+3) [3 |2]: I= | = 
SSS ee ey 
滤波 器 长 度 M 





图 7.2 数据 矩阵 ACh) ROSEY 

滤波 器 对 输入 信号 向 量 u( 大 + 站) 做 出 响应 所 产生 的 输出 定义 为 
y(kL + i) = Wk)n(kL + i) 
= Sw (ku(AL +i-j) i=0,1,...,L-1 (7:5) 
j=0 

© dkL+ i) RRP BMA, RAE 

e(kL + i) = d(kL + i) — y(kL + i) (7.6) 
是 通过 比较 滤波 器 输出 与 期 望 响 应 而 产生 的 。 因 此 ,误差 信号 随 抽样 率 而 变 ,如同 传统 LMS 


算法 那样 。 如 图 7.1 所 示 ,误差 信号 以 与 自 适应 滤波 器 输入 端 信号 同步 的 方式 分 成 二 点 的 块 ， 
然后 用 于 计算 应 用 于 滤波 器 抽 头 权 值 的 校正 值 。 


例 1 为 了 说 明 决 自 运 应 滤波 器 中 的 运算 ,考虑 滤波 器 长 度 M =3 和 块 长 度 了 =3 的 某 一 滤波 器 
的 例子 。 则 对 于 三 个 相继 数据 块 上 -1,k Fok +1, 可 将 滤波 器 计算 得 到 的 输出 序列 表示 
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如 下 
u(3k — 3) u(3k — 4) u(3k — 5) || wo(k — 1) y(3k — 3) 
(k — 1) He {| u(3k — 2) u(3k — 3) u(3k — 4) || w(k — 1) | = | y(3k - 2) 
u(3k — 1) u(3k — 2) u(3k — 3) JL w(k — 1) y(3k — 1) 
u(3k + 3) u(3k + 2) u(3k + 1) |[ wk + 1) y(3k + 3) 
Bk 块 u(3k + 4) u(3k + 3) u(3k + 2) || w(k +1) | =] y(3k + 4) 
u(3k + 5) u(3k + 4) u(3k + 3) || wk +1) (3k + 5) 
u(3k + 3) u(3k + 2) u(3k + 1) || walk + 1) y(3k + 3) 
第 (Kk 十 1) 块 u(3k + 4) u(3k + 3) u(3k + 2) || wk +1) |=] y(3k +4) 
u(3k + 5) u(3k + 4) u(3k + 3) | wlk + 1) y(3k + 5) 
ES RECNLHRBBE RABE, RARER E AAR A. 
7.1.1 LMS 算法 
由 第 5 章 LMS 算法 的 推导 可 知 BT A BH A SBE AT MK A — RE RB — GK 
代 抽 头 权 向 量 调整 的 公式 如 下 : 
〈 权 向 量 的 调整 ) = (〈 步 长 参数 )( 抽 头 输入 向 量 )( 误 差 信 号 ) 
因为 在 块 LMS 算法 中 误差 信号 随 抽 样 速率 而 变 , 故 可 得 出 :对 于 每 一 个 数据 块 ,我 们 有 不 
同 的 用 于 自 适应 过 程 的 误差 信号 值 。 因 此 ,对 于 第 下 个 数据 块 ,可 以 对 所 有 的 可 能 值 求 乘积 


UCAL + i)eC kL + i) ZAM, FAEN AITE E BOER LMS 算法 的 抽 头 权 向 量 的 更 新 公式 
如 下 


wk + 1) = W(k) 十 pS ake + ije(kL + i) (7.7) 
其 中 up 为 步 长 参数 。 为 表示 方便 起 见 , 改 写 式 (7.7) 为 如 下 形式 
Wk +1) = W(k) + ub(k) (7.8) 
式 中 M x 1 向量 电 (%) 是 互相 关 的 ,定义 为 


(k) = FukL + i)e(kL + i) 


(7.9) 
= Al(k)e(k) 
其 中 工 x 玉 数据 矩阵 A(E) 定 义 在 式 (7.4) 中 ,而 Lx 1 向 量 
e(k) = [e(kL),e(kL + 1),...,e(kL + L- 1) (7.10) 
是 误差 信号 向 量 。 
H LMS 算法 的 一 个 显著 特点 是 在 它 的 设计 中 结合 了 如 下 梯度 向 量 的 估计 
V(k) = -Ż SuL + i)e(kL + i) (7.11) 


其 中 因子 2 是 为 了 与 第 4 章 和 第 5 章 的 定义 相 一 致 ,而 引 和 人 因子 1/L EI TEV TE 
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时 间 平 均 。 因 此 ,可 重新 按照 Y( 让) 表示 块 LMS 算法 为 
Wk +1) = W(k) 一 3 ma® (k) (7.12) 


其 中 
ja = Lu (7.13) 
这 个 新 的 常数 us 可 看 做 块 LMS 算法 的 “有 效 ” 步 长 参数 。 


7.1.2 #RLMS 算法 的 收敛 性 


LMS 算法 具有 与 传统 LMS 算 法 相似 的 特性 。 其 基本 差异 在 于 各 自 实现 中 梯度 向 量 的 
估计 方法 不 同 。 将 块 LMS 算法 的 梯度 估计 式 (7.11) 与 传统 LMS 算法 的 梯度 估计 式 (5.4) 比 较 
可 以 看 出 , 块 LMS 算法 使 用 了 更 精确 的 梯度 向 量 估计 。 由 于 时 间 平 均 的 缘故 , 它 具 有 估计 精 
度 随 着 块 长 度 增 大 而 提高 的 特性 。 然 而 ,这 个 改善 并 不 意味 着 快速 自 适应 ,这 个 事实 可 通过 考 
BEER LMS 算法 的 收敛 特性 显露 出 来 。 

我 们 以 类 似 于 第 5 章 分 析 传 统 LMS 算法 的 方式 进行 块 LMS 算法 收敛 性 的 分 析 。 事 实 上 ， 
除了 少量 修改 外 ,这 里 的 分 析 遵 循 同 于 第 5 章 所 述 的 步骤 , 即 在 下 标 守 = 0,1,..., 工 -1 范围 内 
求 期 望 和 ,这 与 式 (7.3) 样 点 时 间 n 有 关 且 其 用 途 凭 借 式 (7.6) 而 得 到 提高 。 于 是 ,我 们 将 块 
LMS 算法 的 “小 步 长 "统计 分 析 结 果 总 结 如 下 : 

1) 平均 时 间 常 数 ” 块 LMS 算法 的 平均 时 间 常 数 为 

L 
2U BAgy 
其 中 ,4。 是 相关 和 矩阵 R= BE[uCz)ur(n)] 的 W 个 特征 值 的 平均 值 。 以 步 长 参数 u 运 
行 的 传统 LMS 算法 平均 时 间 常 数 的 相应 公式 由 式 (5.104) 给 出 , 重 写 如 下 
1 
Tmseav 一 ZuAov 
对 于 给 定 的 相关 矩阵 R, 两 个 算法 的 平均 特征 值 相同 且 缘 为 4,。 因 此 ,将 上 式 与 式 
(7.14) 比 较 并 注意 到 式 (7.13) 的 关系 ,我 们 发 现 :对 于 某 一 固定 的 A。 ,这 两 个 算法 具有 
相同 的 平均 时 间 常 数 。 
为 了 使 式 (7.14) 的 零 阶 公式 成 立 , 块 LMS 算法 的 有 效 步 长 大 小 参数 pa 必须 小 于 
UÀ ,其 中 .是 相关 矩阵 R 的 最 大 特征 值 。 现 假设 我 们 要 得 到 快速 自 适应 ,从 而 要 
求 较 小 的 ta, 但 所 需要 的 块 长 度 工 很 大 以 致 于 式 (7.14) 计 算得 到 ws 的 值 相 应 地 也 
很 大 。 在 这 种 情况 下 ,有 可 能 wz 的 计算 值 很 大 ,以 致 于 对 块 LMS 算法 的 高 阶 影响 变 
得 十 分 大 ,足以 使 算法 由 于 不 稳定 而 变 得 很 不 实际 。 
2) 失调 RIMS 算法 所 产生 的 失调 为 


— He 
M = TF tr[R] (7.15) 





T mse,av = 


(7.14) 


AP [R] ARARE R 的 迹 。 这 里 ,再 一 次 利用 式 (7.13) ,我 们 发 现 式 (7.15) 与 第 
5 章 传统 LMS 算法 得 到 的 式 (5.101) 一 样 。 
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7.1.3 块 长 度 的 选择 


此 前 ,在 讨论 块 LMS 滤波 器 时 ,我 们 没有 对 与 自 适应 滤波 器 长 度 M 有 关 的 块 长 度 工 施加 
任何 约束 。 我 们 认为 ,在 这 方面 存在 三 种 可 能 的 选择 ,每 一 种 选择 都 有 其 各 自 的 实际 应 用 。 这 
三 种 可 能 的 选择 是 : 


1) L= 及 ,从 计算 复杂 性 观点 看 ,这 是 最 佳 选择 。 

2) L< M, 这 种 情况 具有 降低 处 理 时 延 的 好 处 。 此 外 ,由 于 块 长 度 小 于 滤波 器 长 度 ,此 时 
还 有 自 适 应 滤波 算法 计算 效率 优 于 传统 LMS 算法 的 优点 。 

3) L> 及 ,会 产生 自 适 应 过 程 的 元 余 运 算 ,因为 此 时 梯度 向 量 的 估计 使 用 了 比 滤波 器 本 身 
更 多 的 信息 。 


此 后 ,我 们 将 注意 力 限 于 L=M 的 情况 , 它 是 大 多 数 实际 应 用 中 人 们 更 喜欢 的 一 种 块 自 


当 我 们 谈 到 计算 复杂 性 时 , 指 的 是 快速 傅 里 叶 变换 的 次 数 和 块 LMS 滤波 器 频 域 实现 所 需 
要 的 每 一 个 变换 的 大 小 了 。 其 实现 方法 将 在 下 面 讨论 。 


7.2 快速 块 LMS 算法 


给 定 一 个 能 用 块 LMS 算法 给 出 满意 解决 方案 的 自 适应 信号 处 理应 用 ,关键 问题 就 在 于 如 
何以 计算 上 有 效 的 方式 实现 该 算法 。 参 考 式 (7.5) 和 式 (7.9)( 由 该 式 可 见 块 LMS 算法 的 计算 
负担 ) ,我 们 观察 到 如 下 情况 : 


@ 式 (7.5) 定 义 了 滤波 器 抽 头 输入 信和 号 与 抽 头 权 值 的 线性 卷 积 。 
o 式 (7.9) 定 义 了 滤波 器 抽 头 输入 信号 与 误差 信号 的 线性 相关 。 


根据 数字 信和 号 处 理 理 论 可 知 ,快速 傅 里 时 变换 (FFT,fast Fourier transform) 算 法 为 快速 卷 积 和 快 
速 相 关 运 算 提 供 了 强 有 力 的 工具 (Oppenheim & Schafer,1989)。 这 些 观察 结果 表明 块 LMS 算法 
的 有 效 实现 方法 。 具 体 来 说 ,不 像 前 一 节 在 时 域 执行 自 适应 那样 ,此 处 实际 上 是 利用 FT 算法 
在 频 域 上 完成 滤波 器 系数 的 自 适应 。 这 样 实现 的 块 LMS 算法 称 为 快速 块 LMS 算法 (fast block 
LMS algorithm) , 它 由 Clark 等 (1981,1983) 和 Ferrara(1980) 各 自 独 立 提出 。 

根据 数字 信号 处 理 理 论 ,我 们 还 可 以 知道 重 秋 存储 方法 和 重 委 相 加 方法 为 快速 卷 积 运算 
提供 了 两 种 高 效 方法 , 即 利用 离散 傅 里 叶 变换 (Oppenheim & Schafer, 1989) 计算 线性 卷 积 。 重 
于 存 储 方法 是 非 自 适应 滤波 的 两 种 方法 中 更 常用 的 一 种 方法 。 此 外 ,值得 注意 的 是 ,尽管 滤波 
器 能 够 以 任意 数量 的 重 秋 来 实现 ,但 当 50% 重 春 时 (例如 , 块 的 大 小 等 于 权 值 个 数 时 ) 运 算 效 
率 达 到 最 高 。 此 后 ,我 们 将 重点 讨论 30% 重 玲 率 的 重 和 存储 法 @。 





@ Benesty 等 (2001) 提 出 一 种 采用 递归 最 小 平方 准则 的 频 域 自 适应 滤波 器 的 一 般 框架 ,其 理论 的 新 颖 特点 如 下 : 
。 块 大 小 的 选择 独立 于 自 适 应 滤波 器 的 长 度 ; 
。 用 于 这 个 理论 的 各 种 通 近 导致 快速 块 LMS 滤波 器 无 约束 块 LMS 滤波 器 以 及 多 时 延 自 适应 滤波 器 ; 
。 其 中 的 某 些 结构 可 推广 到 多 信道 的 情况 。 

© Sommen 和 Jayasinghe(1988) ,描述 了 重合 相 加 方法 的 一 种 简化 形式 ,节省 了 两 个 IDFT 结构 。 
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依据 重 委 存 储 方法 ,将 滤波 器 M 个 抽 头 权 值 用 等 个 数 的 零 来 填补 ,并 采用 N 点 FFT 进行 
计算 ,其 中 
AN =2M 


因此 , Nx 1 的 向 量 
Wk) = rer] 5 | (7.16) 


表示 FFT 补 零 后 的 系数 , 抽 头 权 向 量 为 w(%)。 其 中 ,0 Mx 1 零 向 量 , FFT ] 表 示 快 速 健 里 
叶 变 换 。 值 得 注意 的 是 频 域 权 向 量 WW() 的 长 度 是 时 域 权 向 量 Ww(k) 长 度 的 两 倍 。 相 应 地 , 今 
U(k) = diag {FFT[u(kM 一 M)». ,u(kM — 1),u(kM),...,u(kM + M — 1)]} (7.17) 
第 (上 — 1) ik BKM 
RRA AA EE BY) US AR FSR ETT ERA N x N 对 角 阵 。 我 们 亦 可 用 一 
个 向 量 定 义 输入 信号 向 量 M) AE BR RT, OT GR AB, SRA SR 7.17) EO 
更 合适 。 因 此 ,将 重合 存 储 方法 应 用 于 式 (7.5) 的 线性 卷 积 中 ,得 到 M x 1 向 量 
y (Kk) = [y(kM), y(kM + 1),...,y(KM + M — 1)] 
= IFFT[U(k)W(k)] H#BEMARE 
其 中 IFFT[] 表 示 传 里 叶 反 变换 。 式 (7.18) 中 只 有 最 后 M 个 元 素 被 保留 ,这 是 因为 最 前 的 M 个 
元 素 是 循环 卷 积 的 结果 。 
下 面 考虑 式 (7.9) 的 线性 相关 。 对 于 第 左 块 ,定义 M x1 期望 响应 向 量 
d(k) = [d(kM), d(kM + 1),...,d(kM + M —1)]" (7.19) 
及 相应 的 M x 1 误差 信号 向 量 
e(k) = [e(kM),e(kM + 1),...,e(kM + M —1)]' 
= d(k) — y(k) l 
如 果 注 意 到 ,在 式 (7.18) 所 述 线性 卷 积 实现 中 ,开始 的 W 个 元 素 已 从 输出 中 废弃 掉 , 则 可 将 误 
差 信 号 向 量 e( 8) 变 换 到 频 域 , 即 








(7.18) 


(7.20) 


E(k) = Fez| ou | (7.21) 


H FREKKE ERE OP EK, AO aR ET EPR 7.9) BT 
示 的 线性 相关 ,可 得 
中 (k) = IFFT[U"(k)E(k) ] kat M 个 元 素 (7.22) 

容易 推断 ,既然 在 式 (7.18) 所 考虑 的 线性 卷 积 情况 下 废弃 了 最 前 面 的 M 个 元 素 ,那么 在 式 
(7.22) 的 情况 下 可 舍弃 其 最 后 的 M 个 元 素 。 

最 后 ,考虑 滤波 器 抽 头 权 向 量 更 新 过 程 的 式 (7.8) ,注意 到 式 (7.16) 所 示 的 频 域 权 向 量 
视 () 定 义 中 时 域 权 向 量 Ww(%) 后 面 跟 着 M 个 零 元 素 ,因此 可 将 式 (7.8) 变 换 为 如 下 频 域 表 达 
式 


W(k + 1) = W(k) + peer] È | (7.23) 
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从 式 (7.16) 到 式 (7.23) ,目的 都 是 为 了 定义 快速 块 LMS 算法 。 图 7.3 给 出 了 快速 块 LMS 
算法 的 信号 流 图 (Shynk,1992)。 这 个 算法 准确 地 描述 了 块 LMS 算法 的 频 域 实 现 。 照 此 ,其 收 
SUES SS 7.1 节 所 讨论 的 块 LMS 算法 一 样 。 


输入 
u(n) 














图 7.3 BaP FDAF( 一 种 基于 重奏 存储 实现 线性 卷 积 和 线性 相关 算法 的 分 段 处 理 方法 ) 


7.2.1 计算 复杂 性 


现 将 运行 在 频 域 的 快速 块 LMS 算法 的 计算 复杂 性 与 运行 在 时 域 的 传统 LMS 算法 的 计算 
复杂 性 进行 比较 。 以 块 长 度 为 M 时 两 种 实现 各 自 涉 及 的 总 乘法 次 数 为 基础 进行 比较 。 虽 然 
在 实际 实现 中 存在 其 他 要 考虑 的 因素 (例如 加 法 次 数 和 存储 要 求 等 ) ,但 使 用 乘法 次 数 为 比较 
两 个 算法 的 计算 复杂 性 提供 了 一 个 合理 准确 的 基础 。 

首先 考虑 具有 M 个 实数 据 抽 头 权 值 的 传统 LMS 算法 。 这 种 情况 下 ,每 计算 一 个 输出 需 
要 M 次 乘法 ,而 更 新 一 次 抽 头 权 值 还 需要 M 次 乘法 , 故 每 次 迭代 总 共 需 要 2M 次 乘法 。 因 
此 ,对 于 履 个 输出 样 值 ,所 需要 的 乘法 次 数 总 共 为 2M? 次 。 

现在 考虑 快速 块 LMS 算法 。 每 个 N 点 FFT( 或 FT) 需 要约 N log WN 次 实数 乘法 运算 
(Oppenheim & Schafer, 1989) ,其 中 NW =2M。 根 据 图 7.3 所 示 的 快速 块 LMS 算法 的 结构 ,要 执 
行 5 次 频率 变换 ,因此 共计 5N log, N 次 乘法 。 此 外 ,计算 频 域 输出 向 量 需要 4N 次 乘法 ,计算 
与 梯度 向 量 估计 有 关 的 互相 关 运 算 也 需要 4N KRE, All, RRR LMS 算法 总 共 需 要 的 乘 
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SN log, N + 8N = 10M log,(2M) + 16M 
= 10M log, M + 26M 


FA ,快速 块 LMS 算法 与 传统 LMS 算法 的 复杂 度 比 为 (Shynk,1992) 
10M log, M + 26M 
复杂 度 比 = — mwm 
Slog,M + 13 
SO 
例如 , 当 M = 1024 时 ,利用 这 个 公式 计算 结果 表明 ,快速 块 LMS 算法 比 传统 LMS 算法 在 计算 
方面 快 15 倍 左右 。 


7.2.2 提高 收敛 速率 


实际 上 ,快速 块 LMS 算法 是 块 LMS 算法 的 一 种 高 效 频 域 实 现 。 因 此 这 两 种 算法 具有 相同 
的 收敛 特性 ,包括 收敛 的 必要 条 件 收敛 速率 以 及 失调 特性 。 然 而 ,快速 块 LMS 算法 的 收敛 速 
率 可 以 在 不 影响 最 小 均 方 误差 条 件 下 通过 对 每 个 可 调 权 值 赋予 不 同 的 步 长 来 获得 改善 (Som- 
men et al. ,1987; Lee & Un,1989)。 特 别 地 ,在 快速 块 LMS 算法 中 采用 重要 存储 方法 ,不仅 能 够 
降低 执行 时 的 计算 复杂 性 ,而 且 可 以 为 改善 快速 块 LMS 算法 的 收敛 速率 提供 一 个 实际 的 基 
础 。 这 个 改善 可 通过 跨 频 率 柜 (bin) 补 偿 平均 信号 功率 的 变化 量 来 获得 。 具 体 来 说 ,就 是 使 所 
有 的 自 适 应 处 理 模 式 具 有 相同 的 收敛 速率 ,这 可 通过 对 每 个 权 值 赋予 各 自 的 步 长 参数 来 达到 ， 
该 步 长 参数 定义 为 





a : 
m=% i=01...,2M-1 (7.24) 


其 中 a 是 个 常数 , P, 是 第 i 个 频率 柜 的 平均 功率 估计 。 注 意 ,由 于 实 信号 在 频 域 具有 对 称 性 ， 
式 (7.24) 中 P, 取 前 M 个 值 就 是 够 了 。 

当 快 速 块 LMS 算法 运行 的 环境 为 广义 平稳 时 , 式 (7.24) 的 条 件 可 以 应 用 。 然 而 , 当 运 行 
环境 为 非 平稳 时 ,或 者 当 每 个 频率 柜 的 平均 输入 功率 估 值 无 法 得 到 时 ,就 要 采用 以 下 简单 的 递 
归 方 式 来 估计 快速 块 LMS 算法 的 性 能 (Griffiths, 1978; Shynk, 1992) 

P(k) = yP(k — 1) + (1 -yr  i=0,1,...,2M — 1 (7.25) 


其 中 , U, (ERTA k WARE LMS 算法 第 i 个 权 值 的 输入 信号 ,y 是 一 个 取 值 范围 为 
0< y < 1 的 常数 ,而 参数 y 是 一 个 遗忘 因子 ,用 来 控制 上 式 迄 代 过 程 的 有 效 “ 记 忆 ”"。 特 别 地 ， 
将 输入 功率 P.(k) 表 示 为 输入 信号 幅度 平方 的 加 权 指数 和 形式 
P(k) = (1 —) 之 yt -DP (7.26) 
于 是 , 当 已 知 第 i 个 频率 柜 的 平均 信号 功率 估 值 P.() 时 ,依据 式 (7.24), 步 长 参数 可 
FAM x M 对 角 阵 替代 为 
p(k) = aD(k) (7.27) 
其 中 


278 自 适 应 滤波 器 原理 


D(k) = diag[Po'(k), Pi'(k),..., Pzm-1(K)] (7.28) 
因此 ,快速 块 LMS 算法 可 修改 如 下 (Ferrara,1985; Shynk, 1992) : 
1) 在 式 (7.22) 中 ,涉及 互相 关 向 量 中 () 的 计算 ,乘积 项 U*(k)ECE) 用 D(k)U*(k)E(Ek) 
来 代替 ,从 而 得 到 
p(k) = IFFT [D(K)U"(k)E(k) |B MATR (7.29) 
2) 在 式 (7.23) 中 ,w 用 常数 a 代替 ;否则 , 频 域 权 向 量 WW(k) 的 计算 与 以 前 一 样 。 
表 7.1 总 结 了 上 述 修 改 后 的 快速 块 LMS 算法 (Shynk,1992)。 
表 7.1 基于 重奏 存储 分 段 法 的 快速 块 LMS 算法 小 结 (假设 实数 据 情 况 ) 


初始 化 : 
W(0) =2M x1 零 向 量 
P,(0) = 6; ,其 中 8, 是 小 的 正常 数 且 i=0,1,...,2M -1 
记号 : 
0= Mx1 零 向 量 
FFT = (Rk HY 
IFFT = 快速 傅 里 叶 反 变换 
a = 自 适应 常数 
计算 :对 于 M 个 输入 样 值 的 每 个 新 的 数据 块 , 计 算 ; 
We 
U( k) = diag{ FFT[ u (kM - M),..., u(kM-1),uC(kM),..., u( kM + M-1)]7| 
y7(5) = IFFT[U(k)W(k)] 的 最 后 W 个 元 素 
误差 估计 
e(k) =d(k) -y(&) 
0 
Ba) = FFT | 
信和 号 功率 谱 
Pi(k) =yP,(k-1+Q-y1U,(k) 7? i=0,1,...,2M-1 
D( k) = diag[ Py '(K), P71(k),..., Pry -1(k)] 
抽 头 权 值 自 适 应 


(k) = IFFI[D( £)U4 (k) E(k) RAT M 个 元 素 


Wht DeaWh) +e mfe] 


7.3 无 约束 频 域 自 适应 滤波 器 


图 7.3 中 信和 号 流 图 所 述 的 快速 块 LMS 算法 可 看 做 一 种 约束 形式 的 频 域 自 适应 滤波 器 。 具 
体 来 说 ,图 中 运行 算法 所 涉及 的 5 个 FFT 中 有 2 个 需要 强加 时 域 约束 (time-domain constraint) , 
以 便 完成 式 (7.9) 规 定 的 线性 相关 。 时 域 约束 包括 如 下 运算 ; 


9 舍弃 IFFT[LU*(k)E(%)] 运 算 中 的 最 后 MW 个 元 素 , 如 式 (7.22) 所 述 。 
o 在 再 进行 FFT 之 前 将 舍弃 的 元 素 用 一 个 长 度 为 M 的 零 数 据 块 来 代替 ,如 式 (7.23) 所 述 。 
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这 里 所 述 的 一 组 运算 包括 在 图 7.3 的 虚线 框 里 ; 这 个 运算 组 合 称 为 梯度 约束 (gradient con- 
staint) ,因为 它 涉 及 计算 梯度 向 量 的 估 值 。 注 意 ,梯度 约束 实际 上 是 一 种 时 域 约束 , 它 主要 是 为 
了 保证 2M 个 频 域 权 值 与 M 个 时 域 权 值 一 一 对 应 。 这 就 是 为 什么 一 个 零 数 据 块 添加 在 图 中 
的 梯度 约束 中 的 原因 。 

在 无 约束 频 域 自 适应 滤波 器 (Mansour & Gray, 1982) 理 论 中 ,梯度 约束 被 彻底 从 图 7.3 所 示 
的 信号 流 图 中 去 掉 。 最 后 的 结果 是 只 涉及 3 个 FFT 的 简单 实现 。 因 此 ,快速 块 LMS 算法 中 式 
(7.22) 与 式 (7.23) 的 联合 运算 现 被 一 种 简单 得 多 的 算法 

Wk + 1) = Wk) + pU(K)E(K) (7.30) 

所 代替 。 然 而 ,更 值得 注意 的 是 ,此 处 计算 得 到 的 梯度 向 量 估 值 ,不 再 对 应 于 式 (7.9) 所 规定 的 
线性 相关 ,而 是 一 种 循环 相关 。 

因而 ,我们 发 现 , 式 (7.30) 所 表示 的 无 约束 频 域 自 适应 滤波 器 算法 总 体 上 偏离 了 快速 块 
LMS 算法 ,因为 其 抽 头 权 向 量 随 着 块 迭 代 次 数 趋 于 无 穷 不 再 收敛 于 维 纳 解 (Sommen et al., 
1987; Lee & Un,1989; Shynk,1992)。 需 要 注意 的 另 一 点 是 ,尽管 无 约束 频 域 自 适 应 滤波 算法 
的 收敛 速率 随 着 时 变 步 长 的 增 大 而 提高 ,但 其 改善 由 失调 的 恶化 所 消除 。 实 际 上 ,根据 Lee 和 
Un(1989) 的 研究 , 当 产 生 相 同 程度 的 失调 时 ,无 约束 算法 需要 两 倍 于 约束 算法 的 迭代 次 数 。 


7.4 自 正 交 化 自 适 应 滤波 器 


在 前 面 几 节 ,我 们 讲述 当 感 兴趣 的 应 用 要 求 自 适应 涨 波 器 长 记忆 时 ,如 何 利 用 频 域 技术 改 
善 LMS 算法 计算 效率 的 问题 。 在 这 一 节 , 我 们 考虑 另 一 种 重要 的 自 适应 滤波 问题 , 即 改善 
LMS 算法 收敛 性 的 问题 。 然 而 ,这 种 改善 是 以 增加 计算 复杂 人 性 为 代价 。 

为 了 便于 讨论 , 设 输入 信号 向 量 为 u(n) ,相关 和 矩阵 为 R。 广 义 平稳 环境 下 自 正 交 化 自 适 
应 滤波 算法 (self-orthogonalizing adaptive filtering algorithm) 表 示 为 (Chang,1971; Cowan, 1987) 

Wn +1) = W(n) + aR lu(n)e(n) (7.31) 


其 中 R-: 是 相关 和 矩阵 及 的 道 矩 阵 ,e(m) 是 误差 信号 。[ 式 (7.31) 与 牛顿 法 有 关 , 已 在 第 4.6 节 
中 讨论 过 。] 常 数 a 的 取 值 范围 为 0< a <1, 根 据 Cowan(1987) 的 研究 ,其 值 取 为 
1 


a= 2M (7.32) 


其 中 凡是 滤波 器 的 长 度 。 式 (7.31) 的 自 正 交 化 滤波 算法 的 一 个 重要 性 质 是 :理论 上 ,不 管 输 
入 信和 号 的 统计 特性 如 何 , 式 (7.31) 可 保证 其 收敛 速率 为 常数 。 
为 了 证 明 这 个 有 用 的 性 质 ,定义 加 权 误 差 向 量 为 


e(n) = wo — W(n) (7.33) 
其 中 权 向 量 w, 是 维 纳 解 。 我 们 可 按照 e(n) 将 式 (7.31) 的 算法 重 写 为 
e(n + 1) = (L — aR“ u(n)u’(n))e(n) — aR n(n)eo(n) (7.34) 


其 中 了 工 为 单位 阵 , e。(n) 是 由 维 纳 解 产 生 的 误差 信号 的 最 优 值 。 对 式 (7.34) 两 边 取 数 学 期 望 ， 
并 在 假设 a 很 小 的 条 件 下 引用 直接 平均 法 ( 见 第 5.4 节 ), 可 得 以 下 结果 
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Ele(n +1)] ~ (I- aR"E[u(n)u?(n)])E[e(n)| - aRTE[u(n)e,(n) | (7.35) 
据 此 ,在 实数 据 情况 下 ,我 们 可 看 出 以 下 几 点 : 
o 根据 广义 平稳 过 程 的 相关 和 矩阵 定义 ,有 
Eluln)u (rn)| = R 
o 根据 正 交 性 原理 ,有 ( 见 第 2.2 节 ) 
Elu(n)eo(n)] = 0 
因此 ,可 以 将 式 (7.35) 简 化 为 
E[e(n + 1)] = (I- eR 'R)E[e(n) | 


= (1 ~ a) E{e(n)] 
式 (7.36) 是 一 个 自治 一 阶 差分 方程 ,其 解 为 
E[e(n)] = (1 一 a)"E[s(0)] (7.37) 

其 中 g(0) 是 加 权 误 差 向 量 的 初始 值 。 因 此 , 当 a 的 取 值 范围 为 0< a < 1 时 ,可 写 出 

lim E[e(n)] = 0 (7.38) 
或 等 效 地 ,有 

jim, ElW(n) | = wo (7.39) 
最 重要 的 是 ,我 们 从 式 (7.37) 看 出 , 收 伍 速率 完全 独立 于 输入 信号 的 统计 特性 ,正如 前 面 所 指 
出 的 。 
例 2 ARAMA 


为 了 说 明 自 正 交 化 自 适 应 滤波 算法 的 收 化 特性 ,考虑 白 噪声 输入 的 情况 ,其 相关 和 佐 阵 定义 
为 


R = ol (7.40) 
BP 0? 是 白 噪声 方差 ,I 是 单位 矩阵 。 对 于 这 个 输入 , 当 a = 1/2M 时 ,利用 式 (7.31) 得 
w(n +1) =W(n) + Saga un)e(n) (7.41) 
这 个 算法 可 看 做 步 长 参数 u RHA 
1 
H = Mo 





(7.36) 


(7.42) 


的 传统 LMS 算法 。 换 句 话 说 ,对 于 由 特征 值 扩 散 度 为 1 所 表征 的 白 噪 声 序列 这 个 特殊 情 


况 ,传统 LMS 算法 以 相同 于 自 正 交 化 自 适 应 滤波 算法 的 方式 表现 出 来 。 
7.4.1 两 级 自 适 应 滤波 器 


最 后 一 个 例子 指出 ,我 们 可 通过 分 两 级 处 理 使 得 任意 环境 下 的 自 正 交 化 自 适应 滤波 器 机 


械 化 (mechanize)[ Narayan et al. ,1983; Cowan & Grant, 1985], Ell: 
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1) 将 输入 向 量 u(n) 变 换 为 一 个 由 互 不 相关 变量 组 成 的 对 应 向 量 ; 
2) 将 变换 后 的 向 量 用 做 LMS 算法 的 输入 向 量 。 


根据 附录 卫 关 于 特征 分 析 的 讨论 容易 看 出 ,第 一 目标 在 理论 上 可 利用 K-L 变换 (KLT, Kar- 
hunen-Loève transform) 来 实现 。 如 给 定 一 个 取 自 某 一 广义 平稳 过 程 的 零 均值 输入 向 量 u(r), Wy 
当 实 数据 时 KLT 的 第 i 个 输出 定义 为 
， v;(n) = ql u(n) i=0,1,...,.M-—-1 (7.43) 
其 中 q 是 与 输入 向 量 a(n) 的 相关 矩阵 及 的 第 ;个 特征 值 X, 有 关 的 特征 向 量 。KLT 的 各 个 输 
出 都 是 零 均值 的 不 相关 变量 , 即 
Elvi(n)v(n)] = i j=i (7.44) 


J#et 


因此 ,我 们 可 以 将 KLT 产生 的 Mxl 向 量 y(n) 的 相关 和 矩阵 表示 为 对 角 阵 
A = Elv(n)v"(n)] 


. (7.45) 
= diag| Ao, AL; Au-1] 


A BORER SEPT A, BD 
A- = diag[Ag!, aj’, ..., Ana] (7.46) 
现在 ,考虑 分 别 用 变换 后 向 量 vn) BR SE ARE a(n) A 及 后 式 (7.31) 的 自 
正 交 化 自 适应 滤波 算法 。 在 这 个 新 情况 下 , 式 (7.31) 取 为 如 下 形式 
w(n +1) = Wn) + aA 'v(n)e(n) (7.47) 
其 第 i 个 元 素 可 写 为 
to(n +1) = @(n) + = a(n)e(n) i=0,1,...,M-1 (7.48) 


注意 式 (7.47) 中 w(n) 的 意义 不 同 于 式 (7.31) , 因为 输入 向 量 替 换 为 变换 的 向 量 v(n)。 
式 (7.48) 显 然 是 LMS 算法 的 归 一 化 形式 ,这 里 的 “ 归 一 化 ” 意 指 每 个 抽 头 权 值 都 取 值 为 其 自身 
的 步 长 参数 , 它 与 原来 的 输入 向 量 n(n) 的 相关 矩阵 所 对 应 的 特征 值 有 关 。 于 是 , 式 (7.48) 解 
决 了 本 节 开 始 提 到 的 第 二 个 问题 。 然 而 ,要 注意 的 是 这 里 描述 的 算法 不 同 于 第 6 章 所 讨论 的 
传统 归 一 化 LMS 算法 。 

KILT 是 与 信号 特性 有 关 的 变换 ,其 实现 需要 输入 向 量 相 关 抢 阵 的 估计 该 矩阵 的 对 角 化 以 
及 所 需 的 基 向 量 的 结构 。 这 些 计算 使 得 KLT 无 法 在 实时 应 用 中 使 用 。 所 幸 的 是 ,离散 余弦 变 
换 (DCT, discrete cosine transfomm) 提 供 了 预先 确定 的 有 关 基 向 量 集 , 它 可 很 好 地 逼近 KLT。 实 际 
上 ,对 于 信号 处 理 研 究 中 足够 通用 的 零 均 值 、 一 阶 马 尔 可 夫 平 稳 过 程 , 当 序列 长 度 增 加 且 相 邻 
相关 系数 趋 于 1 时 ,DCT 渐进 逼近 于 KLT(Rao & Yip,1990)?; 一 个 随机 过 程 的 相 邻 相关 系数 定 
义 为 单位 延迟 自 相关 函数 与 零 延 迟 自 相 关 函 数 ( 即 均 方 值 ) 之 比 。 既 然 KLT fe SAREE AX, 
而 DCT 与 信号 特性 无 关 , 因 此 DCT 能 够 以 高 计算 效率 实现 。 对 于 某 些 信 叶 ,DCT GET 


y 
aS 
O Grenander 和 Szegs(1958) 及 Gray(1972) 。 注 意 ,对 于 高 阶 马 尔 可 夫 输 入 信号 ,DFT KIEREN E DCRR, 





这 使 DCT 比 DFT 更 接近 于 KLT。 特 别 对 于 这 种 输入 信和 号 ,DFT 的 渐进 特征 值 扩展 为 [(1+ p)/CL- pe)], 而 DCT Mi 


进 特征 值 扩展 为 (1 + p) ,其 中 p 是 输入 信号 的 相 邻 相关 系数 (Beaufays, 1995a)。 E 


wat 


& 
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RF Hh BE KLT。 

现在 ,我 们 备 有 用 来 表示 实际 逼近 兼 有 DCT 和 LMS 期 望 特性 的 自 正 交 化 自 适应 滤波 器 所 
需要 的 工具 。 图 7.4 显示 这 种 滤波 器 的 框图 。 该 滤波 器 由 两 级 组 成 ,第 一 级 实现 滑动 DCT 算 
法 ,第 二 级 实现 归 一 化 LMS 算法 (Beaufays & Widrow, 1994; Beaufays,1995a)。 实 际 上 ,第 一 级 起 
着 一 个 预 处 理 器 的 作用 , 它 以 一 种 近似 的 方式 完成 对 输入 向 量 的 正 交 化 处 理 。 


期 望 响应 
的 估 值 d(n) 





第 一 级 第 二 级 
图 7.4 DCT-LMS 算法 的 框图 


7.4.2 滑动 DCT 


对 于 我 们 介绍 的 应 用 ,所 考虑 到 的 DCT 使 用 一 个 滑动 窗口 , 它 对 每 个 新 的 输入 样 值 都 要 
进行 计算 。 因 此 ,这 使 得 LMS 算法 (采用 DCT 后 的 ) 能 够 如 同 传统 方式 那样 以 输入 数据 的 速率 
进行 运算 。 因 此 ,不 像 快速 块 LMS 算 法 ,这 里 阐述 的 频 域 自 适 应 滤波 算法 是 一 种 非 分 块 算法 ， 
因此 在 运算 效率 上 不 如 分 块 算法 。 

根据 健 里 叶 变 换 理论 , 偶 函 数 的 离散 傅 里 叶 变 换 导致 离散 余弦 变换 。 利 用 这 个 简单 性 质 ,可 以 
导出 一 种 计算 滑动 DCT 的 高 效 算 法 。 为 此 ,考虑 一 个 有 M 个 样 值 的 序列 u(n),u(n-1),..., 
wu(n 一 必 +1)。 我 们 可 构造 一 个 扩展 序列 ali), EXTA n- M+1/2 具 有 如 下 对 称 性 ( 见 图 7.5) 


~ fuli), i=mn- ln- M+l 
a(i) = {MO -2M+1) i=n-M,n-M-1,...,n—-2M+1 (0.49) 
为 了 表达 方便 ,定义 
Woy = exp(- val (7.50) 
在 第 n 时 刻 , 式 (7.49) 的 扩展 序列 的 2M 点 DET 的 第 m 个 元 素 定义 为 
An(n) = È awg (7.51) 


i=n-2M+1 
a(i) 
u(n) 


n-2M+1 n-M n-M+l1 n 
图 7.5 扩展 序列 a(i) 的 构造 


将 式 (7.49) 代 人 式 (7.51) ,可 以 写 出 
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n n-M 


A,(n)= > adway + D aiw 
i=n-M+1 i=n-2M4+1 
n , n-M i 
= X (WD + DS ul-i+ 2n- 2M + 1)WHWYD (7.52) 
f=n—-M+1 i=n-2M+4+1 


= > wwe +S uW 
| | 


i=n-M+ i=n-M+1 
提出 公 因 子 Way"? ,并 合并 两 个 和 式 , 则 上 式 可 重新 定义 为 
A,,(n) = WH -12 5 u(i (Wagi M2) + Way nt M-42) 


i=n-M+1 


(7.53) 





aywa $ ui cos( MA") 
i=n-M+1 


式 中 ,最 后 一 行 利 用 了 配 w 的 定义 和 余弦 函数 的 尤 拉 (Eulerm) 公 式 。 除 了 比例 因子 外 , 式 (7.53) 
中 的 和 式 就 是 n 时刻 序列 x(m) 的 DCT, 即 





_ n , mli— n+ M —1/2)r 
Cn(n) = km > mCi) cos( M ) (7.54) 
其 中 常数 kn 为 
_ J1/vV2 m = 
m= | | ete (7.55) 
因此 ,根据 式 (7.53) 和 式 (7.54) ,序列 u(n) 的 DCT 与 扩展 序列 a(n)DFT 之 间 的 关系 为 
Col) = Fkn I WRA) m= 0,1 M1 (7.56) 
式 (7.52) 给 出 的 扩展 序列 a(n) 的 DFT 可 以 看 成 两 个 互补 DFT 之 和 
An(n) = AM (n) + AQ(n) (7.57) 
其 中 
An) È wow? (7.58) 
和 
48( = © uwa- (7.59) 


首先 ,考虑 第 一 个 DFT4% (mn)。 把 样 值 w(n) 分 离 出 来 ,可 将 n 时 刻 计算 的 DFT 重 写 为 如 下 形 
式 


A(n) = u(n) 十 S u(i)way) (7.60) 
i=n—-M+1 
其 次 ,根据 式 (7.58) 我 们 注意 到 ,在 n -1 时 刻 计算 的 DFT 的 前 一 个 值 为 


n-1 
AD(n-1) = BD owg 
i 


~ n (7.61) 
= (-1)"W2mu(n — M) + Wo X uli)Wwo 
i +1 


i=n- 
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式 中 最 后 一 行 的 第 一 项 中 ,我 们 利用 了 如 下 等 式 
Wai = e = (-1)" 
将 式 (7.61) 乘 以 Woy ,再 减 去 式 (7.60) 的 结果 ,经 整理 后 得 
AD(n) = W%AD(n — 1) + u(n) — (-1)"u(n — M) m= 0,1,..,M -1 (7.62) 
式 (7.62) 是 一 阶 差 分 方程 式 , 当 已 知 前 一 时 刻 的 值 4 (n -1)、 新 样 值 u(n) AIRE E 
u(n- M) 时 , 则 式 (7.62) 可 用 来 更 新 44(n) 的 计算 。 
下 面 ,考虑 式 (7.59) 定 义 的 第 二 个 DFT42 (nz ) 的 递归 计算 。 对 于 所 有 整数 m, RNA 
Wa =1。 从 而 ,把 样 值 u(n) 所 涉及 的 项 分 离 出 来 ,可 将 这 个 DFT 表示 为 如 下 形式 
n—1 
Am (n) = Walu(n) + Wai 之 OES (7.63) 


现在 ,使 用 式 (7.59) 计 算 n - 1 时 刻 的 第 二 个 DFT, 然 后 着 手 分 离 出 含 uw(n - MPERA, 
可 写 出 


AQ(n-1)= X WwW 


i=n-M 
n—1 
= W3 u(n- M)+ ©, (DW (7.64) 
i=n-M+1 
n—1 
= (-1)"u(n — M) + > u(iyway-” 
i=n—-M+1 


将 式 (7.64) 乘 以 Wi ,再 减 去 式 (7.63) 的 结果 ,经 整理 后 得 
A(n) = Wry AP(n — 1) + Wapi{u(n) — (-1)"u(n — M)) (7.65) 
最 后 ,利用 式 (7.56)、 式 (7.57)、 式 (7.62) 和 式 (7.65), 可 构造 出 序列 x(z) 的 离散 余弦 变换 
C,(n) 弟 归 计 算 的 框图 ,如 图 7.6 所 示 。 该 结构 的 简化 基于 以 下 两 点 : 
o 当前 样 值 w《n) 和 过 去 样 值 u(n - M) 所 涉及 的 运算 ,对 计算 离散 傅 里 叶 变 换 4(n) 和 
A? (n) 来 说 是 相同 的 ,从 而 图 7.6 的 前 端 部 分 是 共用 的 。 
e 图 中 前 向 路 径 上 的 算 子 2 “FELL B"(-1)" ,其 中 8 是 一 个 新 的 参数 ;而 图 中 两 个 反馈 环 
路 内 部 的 算 子 WRA 6。 引入 这 个 新 参数 的 原因 ,后 面 将 会 简要 说 明 。 





62) E Kn” Woy 
O S] 
© 2 
Ain) 


图 7.6 滑动 离散 余弦 变换 的 间接 计算 
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如 图 7.6 所 示 的 离散 时 间 系 统称 为 频 域 取样 滤波 器 。 它 呈现 结构 对 称 的 形式 ,这 是 构成 
离散 余 汞 变换 定义 的 数学 对 称 性 所 固有 的 。 
图 7.6 中 从 输入 wu(n) 到 第 m 个 DCT 输出 Cu(m) 所 表示 的 滤波 器 的 转移 函数 为 


-1 jmn\ _ CD” -z (z=) Cp” - z” 
Ha(z) = z(= mz) (EA - + exp | ay [ ins) 5 
一 exp| 一 一 jz — exp(———— ]z 
M 





1 1 M 
(7.66) 
式 (7.66) 中 的 公共 分 子 , 即 因子 (( - 1)" - 2°") ,表示 围绕 > 平面 单位 圆 等 间隔 分 布 的 零点 集 
合 。 这 些 零 点 为 


ln = exp (47) m = 0,£1,...,£(M — 1) (7.67) 


式 (7.66) 中 第 一 个 部 分 分 式 有 一 个 位 于 z = exp jm M) AR, MAT Ba AF 
在 zm = exp( — 加 r/M) 的 单 极点 。 每 一 个 极点 都 与 分 子 上 的 一 个 特殊 零点 精确 消除 。 其 最 后 
结果 是 图 7.6 的 滤波 器 结构 等 效 于 并 行 工 作 的 两 组 窗 带 全 零 滤波 器 , 其 中 每 个 滤波 器 组 对 应 
于 允 个 DCT 柜 。 图 7.7(a) 显 示 出 由 系数 m=0 和 mm=1 表 示 的 相 邻 两 个 DCT 柜 相 匹配 的 频 
域 取 样 滤波 器 的 频率 响应 ,而 图 7.7(b) 显 示 出 M = 8 柜 时 该 滤波 器 的 脉冲 响应 。 

当 86=1 时 ,此 处 所 述 的 频 域 取样 滤波 器 处 于 “临界 ”稳定 状态 ,这 是 因为 对 于 每 个 DCT 
柜 ,图 7.6 中 两 个 反馈 支 路 的 极点 正好 在 单位 圆 上 ,而 舍 入 误差 的 存在 (尽管 很 小 ) 可 能 会 使 这 
些 极点 中 的 一 个 或 多 个 跑 到 单位 圆 外 从 而 导致 系统 不 稳定 。 这 个 问题 可 通过 将 前 向 支 路 的 零 
点 和 反馈 支 路 的 极点 稍为 往 单位 圆 内 移 一 点 而 得 到 缓解 (Shynk & Widrow,1986)。 因 此 在 图 
7.6 中 引入 参数 8,0 < 8< 1。 例 如 , 取 8 =0.99, 那 么 频 域 取样 滤波 器 转移 函数 Hn (z) 表 达 式 
(7.66) 中 各 部 分 分 式 展开 式 的 所 有 零点 和 极点 都 被 移 到 半径 为 8= 0.99 的 圆 上 ,从 而 使 频 域 
取样 滤波 器 的 稳定 性 得 到 保证 ,尽管 并 没有 实现 严格 的 零 极 点 消除 (Shynk,1992)。 


7.4.3 特征 值 估 计 


在 DCT-LMS 算法 设计 中 ,最 后 剩 下 要 考虑 的 一 个 问题 是 如 何 估计 和 输入 向 量 a(n) 的 相关 
SERE R 的 特征 值 。 这 些 特征 值 定义 了 式 (7.48)IMS 算法 中 用 来 修正 各 权 值 的 步 长 大 小 。 假 设 
产生 输入 向 量 w( mn) 的 随机 过 程 是 各 态 历经 的 ,那么 对 于 实数 据 ,我 们 可 将 其 相关 和 矩阵 及 的 估 
值 定义 为 

Rin) = = Sulu" (i (7.68) 


i= 


它 称 为 样 值 相 关 矩 阵 。DCT 系数 提供 了 M x MIER Q 的 一 种 近似 ,该 矩阵 的 列 向 量 表示 了 相 
关 和 矩阵 及 的 特征 值 所 对 应 的 特征 向 量 。 如 用 @ 表示 这 个 近似 矩阵 , 则 DCT 所 产生 的 输出 向 量 
Co(n) ,C1(n),,.., Cu_1(n) 与 输入 向 量 aa) 的 关系 为 


$(n) = [Co(n), Giln),..., Cu_a(n) |" 
= Qu(n) 
此 外 ,根据 式 (7.68) 和 式 (7.69) ,DCT 所 实现 的 正 交 变换 可 近似 表示 为 如 下 形式 


(7.69) 


286 


脉冲 响应 


幅度 响应 
EL ER St 


自 适 应 滤波 器 原理 





Holey 


1H, Ca 











频率 柜 k 


h(n) 








0 +t +? ,.,,7 时 间 n 


h(n) 





(b) 两 个 频 域 取样 滤波 器 的 脉冲 响应 hol) 5 A(n) 
图 7.7 ” 频 域 取样 滤波 器 的 幅度 响应 和 脉冲 响应 
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A(n) 
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= 
&> 
器 


Qu(i)u"(i)Q7 


ale al- © 


M IM 


i 
= 


<> 
~~~ 
e, 
N” 
<> 
局 
— 
~ 
~~ 


Il 


等 效 地 ,有 


人 1 ~ 
An(n) = > > c(i) m=0,1,...,.M-1 


1 
式 (7.71) 可 写成 如 下 递归 形式 
和 n-i 
Alin) = FORN) + D CHD) 


_1 n-1 1 Tl a. 








根据 式 (7.71) 的 定义 ,我 们 有 


因此 , 式 (7.72) 可 进一步 改写 为 递归 形式 


An(n) = hn = 1) + È (CR(m) -An 一 1) 
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(7.70) 


(7.71) 


(7.72) 


(7.73) 


式 (7.73) 适 用 于 广义 平稳 情况 。 为 了 说 明 非 平稳 条 件 下 自 适应 滤波 运行 情况 ,将 递归 方 


程 (7.73) 修 正 为 (Chao et al. ,1990) 


Âmln) = yA,,(n — 1) + t (czin) —y\,,(n-1)). m=0,1,.. 


(7.74) 


其 中 y 是 遗忘 因子 (forgetting factor) ,其 取 值 范围 为 0< y < 1。 式 (7.74) 是 人 们 所 期 望 的 递归 


计算 输入 向 量 uCn) 相 关 矩 阵 特 征 值 的 表达 式 。 
7.4.4 DCT-LMS 算法 总 结 


至 此 ,容易 总 结 出 计算 DCT-LMS 算法 中 所 涉及 的 步骤 。 在 表 7.2 中 总 结 出 这 些 步 又, 它 


由 图 7.6 以 及 式 (7.48)、 式 (7.74) 、 式 (7.62) 和 式 (7.65) 得 出 。 
327.2 DCT-LMS 算法 小 结 


初始 化 : 
对 m=0,1,.,..,M-1, 令 
AY (0) = A? (0) =0 


An(0) =0 
Dn (0) =0 
有 人 m=0 
1 其 他 
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( 续 表 ) 
参数 选择 : 
1 
a =o 
B=0.99 
0< y<l 
滑动 DCT: 


Xf m=0,1,...,M-1ĦÑ n=1,2,... FR 
AP (m) = SWAY (n - 1) + uln)- p”(-1)"uln - M) 
AP (n) = WRAP (n-1)+ Wag (ulna) - BY (-1)"u(n- M)) 
A, (n) = AD (n) + AP (n) 
Cyn) =A ky (= DOWER An Cn) 
其 中 WEH 
ae 
LMS 算法 
M-1 
y(n)= >) C,(n) in (0) 
m=0 
e(n) = d(n) - y(n) 
An(n) = Ånln-1) +E (n) - ha (n=1)) 


a 





Wa(nt+1)=w(n)+ C,,(n)e(n) 


mAn 

表 注 :在 计算 更 新 权 值 ww, (n+ 1) 时 ,应 该 注意 防止 LMS 算法 不 稳定 。 不 稳定 将 发 生 在 某 些 特征 值 估 值 接近 于 零 时 。 解决 的 
技巧 是 在 4,(n) 中 加 上 一 个 很 小 的 常数 8。 另 一 种 更 好 的 方法 是 ,通过 加 入 少量 白 噪声 来 改变 输入 信号 向 量 的 相关 
矩阵 的 条 件数 (F.Beaufays 的 私人 通信 ,1995)。 


7.5 自 适应 均衡 的 计算 机 实验 
在 这 个 计算 机 实验 中 ,我 们 重新 考虑 第 5.7 节 所 讨论 的 自 适 应 信道 均衡 的 例子 ,该 处 使 用 


传统 LMS 算法 完成 自 适应 运算 。 这 里 ,我们 使 用 第 7.4 节 导 出 的 DCT-LMS 算法 (关于 信道 脉 
冲 响应 和 用 于 信道 输入 的 随机 序列 的 细节 ,参见 第 5.7 节 )。 


该 实验 分 为 两 个 部 分 : 
© 第 一 部 分 ,研究 均衡 器 输入 相关 和 矩阵 不 同 特征 值 扩 散 度 情况 下 DCT-LMS 算法 的 瞬 态 特 
性 。 


o 第 二 部 分 ,比较 DCT-LMS 算法 与 传统 LMS 算法 的 瞬 态 特性 。 
在 整个 实验 中 , 信 噪 比 保持 在 30 dB, 参 数 8 值 取 为 0.99。 


实验 1;DCT-LMS 算法 的 瞬 访 行为 
在 图 7.8 中 ,给 出 了 不 同 信道 参数 W F DCT-LMS 算法 的 集 平均 学 习 曲 线 (不 要 将 用 于 这 
项 实验 的 参数 W -5 DCT 中 的 参数 WIR). FRI RNA W =2.9.3.1,3.3 和 3.5, 一 个 对 
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应 于 特征 值 扩 散 度 为 x(R) =6.0782、11.1238、21.7132 和 46.8216 的 序列 ( 见 表 5.2)。 图 中 结 
果 清 楚 地 表明 ,与 传统 LMS 算法 不 同 ,DCT-LMS 算法 的 集 平均 瞬 态 特性 对 输入 向 量 n(n) 相 关 
和 矩阵 R 的 特征 值 扩 散 情 况 不 大 敏感 。 这 种 期 望 的 特性 是 由 于 用 做 LMS 算法 预 处 理 的 DCT 的 
正 交 归 一 化 作用 ( 即 正 交 化 与 归 一 化 的 结合 )。 


10! f T 一 T T | T T T T 








集 平均 平方 误差 ( 对 数 刻 度 ) 


|W = 35 
|W =33 
| W=31 

W = 29 








107? 1 1 1 L L L | 1 1 
0 50 100 150 200 250 300 350 400 450 500 
ERK n 


图 7.8 对 于 不 同 的 特征 值 扩散 度 X( 了 R) 的 DCT-LMS 学 习 曲 线 


实验 2:DCT-LMS 算法 和 其 他 自 适 应 滤波 算法 的 比较 

图 7.9(a) ~ 图 7.9(d) 给 出 了 四 种 不 同 信 道 参数 wW F DCT-LMS 算法 与 其 他 两 种 算法 [ 传 
统 LMS 算法 和 递归 最 小 二 乘 (RLS) 算 法 ] 的 集 平 均 误 差 性 能 比较 。 传 统 LMS 算法 的 运行 遵循 
第 5 章 所 讨论 的 理论 ;而 RLS 算法 的 理论 在 第 9 章 介 绍 ,这 里 包含 它 作为 另 一 种 感 兴趣 的 参考 
框架 。 基 于 图 7.9 给 出 的 结果 ,我 们 观测 到 所 考虑 的 三 种 自 适 应 滤波 算法 的 瞬 态 特性 如 下 ， 


© 传统 LMS 算法 的 特性 始终 最 差 , 因为 它 表现 出 最 慢 的 收敛 速率 , 对 参数 Ww 变化 最 敏感 
[从 而 对 特征 值 扩 散 度 x (R) 最 敏感 ] ,而 且 具 有 最 大 的 额外 均 方 误差 。 

e RIS 算法 始终 有 最 快 的 收 伍 速 率 和 最 小 的 额外 均 方 误差 ,而 且 对 特征 值 扩散 度 x (R) 的 
变化 最 不 敏感。 

© 对 给 定 的 特征 值 扩散 度 y(R),DCT-LMS 算法 的 瞬 态 特性 介 于 传统 LMS 算法 与 RLS 算 
法 之 间 。 然 而 ,更 为 重要 的 是 ,我 们 有 如 下 结果 : 
(i) 正如 实验 1 所 示 ,DCT-LMS 算法 的 收敛 性 对 特征 值 扩 散 度 y (了 R) 变 化 相对 不 太 敏 感 。 
(ii) DCT-LMS 算法 所 产生 的 额外 均 方 误差 远 远 小 于 传统 LMS 算法 的 额外 均 方 误差 ,并 

且 非 常 接近 RLS 算法 的 。 


换 句 话 说 ,DCT-LMS 算法 的 集 平均 平方 误差 性 能 比 传统 LMS 算法 更 接近 于 RLS 算 法 。 
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(b) X(R) = 11.1238 


图 7.9 传统 LMS, DCT-LMS 和 RLS 算法 的 学 习 曲 线 比 较 


集 平均 平方 误差 ( 对 数 刻度 ) 


集 平均 平方 误差 ( 对 数 刻度 ) 
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和 迭代 次 数 n 
(d) x(R) = 46.8216 


图 7.9 传统 LMS.DCT-LMS 和 RLS 算 法 的 学 习 曲 线 比 较 ( 续 ) 
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7.6 子 带 自 适 应 滤波 器 


如 同 自 组 织 自 适应 滤波 器 ,使 用 基于 LMS 算法 (因为 其 实现 简单 ) 的 子 带 自 适应 滤波 器 的 
动机 是 为 了 改善 滤波 器 的 收敛 性 能 由 。 子 带 自 适应 滤波 器 以 多 速率 数字 滤波 器 为 基础 ,多 速 
率 数字 滤波 器 包含 分 析 和 综合 两 个 部 分 。 图 7.10(a) 所 示 的 分 析 部 分 包括 两 个 功能 块 ， 

9 分 析 滤 波 器 组 (analysis filter bank) : 它 由 具有 共同 输入 的 长 度 为 工 的 数字 滤波 器 组 成 。 

分 析 滤 波 器 的 转移 函数 用 有 H(z), HH,(z),... ,Hi(z) 表 示 , 且 其 频率 响应 略 有 重 释 。 故 
其 输入 信号 w(n) 分 割 成 用 | w(n)j#-1 表 示 的 一 组 信和 号 ,这 组 信和 号称 为 子 带 信 号 。 
© 抽取 器 组 (bank of decimators): 根 据 子 带 信 号 的 带宽 都 必须 小 于 整个 频带 信号 u(n) 带 
宽 , 对 子 带 信号 进行 下 抽样 (down-sample)。 第 有 个 工 信 (Lfold) 抽 取 器 采用 子 带 信号 
wu(n) 以 产生 如 下 输出 信号 
Ux, pln) = ur( Ln) k=1,2,...,L (7.75) 
输入 信号 














“9 Hy(z) ERM uy(Ln) 
mo F222 wa(Ln) 





Ney uj (Ln) 
ORERE WES 
(a) 分 析 部 分 





综合 滤波 器 


RS 
( er ) 
(b) 综合 部 分 


图 7.10 多 速率 数字 滤波 器 





D ”从 较 宽 松 的 意义 来 讲 , 如 果 将 抽取 器 和 存储 器 加 到 Widrow 和 Steams (1985) 著 作 的 图 8.23 中 标 有 “离散 健 里 叶 变 
换 " 的 方块 ( 它 表示 一 个 用 预 处 理 产 生 正 交 信 号 的 滤波 器 ) 中 ,我 们 可 得 到 一 个 类 似 于 子 带 自 适应 滤波 器 的 系统 。 
很 明显 , 这 不 是 一 个 真实 的 事情 ,但 它 可 看 做 与 历史 上 感 兴趣 事件 的 一 种 联系 。 
然而 ,严格 意义 上 讲 , 对 于 子 带 自 适 应 滤波 器 的 研究 工作 可 以 追 湖 到 Kelllermann( 1985) . Yasukawa 和 Shimada( 1987) . 
Chen 等 (1988) 、Gijloire 和 vettedi(1992) Petraglia 和 Mittra( 1993) 等 学 者 某 些 早 期 的 论文 。Giloire 和 Vetterli (1982) 
的 论文 被 一 些 研 究 者 认为 是 子 带 自 适应 滤波 方面 的 开创 性 论文 。 尽 管 这 篇 论文 并 不 完美 ,但 它 的 思想 是 正确 的 。 
其 他 关于 子 带 自 适 应 滤波 器 设计 方面 的 论述 包括 de Courville 和 Duhamel(1998) Pradhan 和 Reddy(1999) 以 及 Farhang- 
Boroujeny(1998) 的 著作 。 第 7.6 节 所 介绍 的 材料 基于 Pradhan 和 Reddy 的 论文 。 
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抽取 器 得 到 的 仅仅 是 发 生 在 工 倍数 时 刻 内 (mn) 的 样 值 。 图 7.11 说 明了 工 =2 时 的 抽取 过 程 。 
在 图 7.10(a) 中 , 倍 抽取 器 用 朝 下 的 箭头 加 抽取 因子 了 来 表示 。 

图 7.10(a) 所 示 多 速率 数字 滤波 器 分 析 部 分 的 实际 优点 在 于 , 它 能 使 每 个 抽取 信号 
wp(n) 的 处 理 充分 利用 第 个 抽取 子 带 信号 的 特殊 性 质 ( 例 如 , 子 带 信号 的 能 量 级 或 感知 意 
义 )。 经 这 个 处 理 过 程 得 到 的 信号 应 用 于 多 速率 数字 滤波 器 的 综合 部 分 ,以 便 进行 进一步 处 
理 。 

综合 滤波 器 还 包含 如 下 两 个 功能 块 [如 图 7.10(b) BEAR] 


o 扩展 器 组 (bank of expanders) :用 来 对 其 各 个 输入 信号 进行 上 抽样 (up-sample)。 第 大 个 区 

倍 扩展 器 采用 输入 信号 w (nz) 以 产生 如 下 输出 信和 号 
oo = {rel 如 果 n FE LAER 
0 其 他 

图 7.12 表示 上 =2 的 扩展 过 程 。 在 图 7.10(b) 中 ,L 售 扩 展 器 用 朝 上 的 箭头 加 上 扩展 因 
子 工 来 表示 。 对 完成 内 插 过 程 来 说 ,每 个 扩展 器 是 必 不 可 少 的 ;然而 ,也 需要 滤波 器 将 
扩展 器 中 为 零 的 样 值 转换 为 内 插 样 值 ,从 而 完成 内 插 操作 。 为 了 解释 这 个 必要 性 ,根据 
健 立 叶 变 换 所 固有 的 时 - 频 二 元 性 ,可 以 认为 第 个 扩展 器 的 输出 频谱 Vs(e* ) 是 扩展 
器 输入 频谱 V, (er ) 的 工 售 压 缩 形式 。 特 别 地 ,扩展 器 产生 了 压缩 频谱 的 多 个 图 像 , 从 
而 综合 部 分 需要 滤波 器 来 抑制 额外 的 图 像 。 

© 综合 滤波 器 组 (synthesis filter bank): 它 由 具有 共同 输出 的 一 组 工 个 数字 滤波 器 并 联 组 
成 。 综 合 滤波 器 的 转移 函数 用 F(z), F(z),..., F(z) 表 示 , 其 输出 结果 用 &(n) 表 
7o 


(7.76) 





(a) 原始 序列 





— n 





(b) 抽取 后 的 序列 


图 7.11 工 =2 的 抽取 过 程 
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(b) 扩展 后 的 序列 4 -2 0 2 4 
图 7.12 工 =2 的 扩展 过 程 


输出 信号 4&(m) 不 同 于 输入 信号 x(z) 是 由 于 :(1) 在 分 析 部 分 对 抽取 信和 号 进行 的 外 部 处 
理 ;(2) 泥 释 误 差 。 在 我 们 所 讨论 的 范围 内 , 混 番 意 指 在 抽取 形式 频谱 中 高 频 分 量 呈 现 出 与 低 
频 分 量 一 样 特性 的 现象 。 由 于 分 析 滤 波 器 的 非 理想 特性 所 发 生 的 这 种 现象 也 包括 由 于 抽取 产 
生 了 多 个 副本 所 引起 的 低频 分 量 ( 如 总 ) 混 人 到 高 频带 (如 H, 或 万 )。 对 于 低频 带 信号 ,其 他 
一 些 地 方 出 现 这 一 现象 也 是 可 能 的 。 

S 7(z) 表 示 整 个 多 速率 数字 滤波 器 ( 即 分 析 / 综 合 滤 波 器 ) 的 转移 函数 。 假 设 在 分 析 滤 波 
器 输出 信号 不 作 任何 外 部 处 理 的 条 件 下 ,选择 分 析 滤 波 器 转移 函数 H, (z), Hy (z),..., H(z) 
和 对 应 的 综合 滤波 器 转移 函数 F(z), Fo (z),...5 F(z), 迫 使 T(z) 是 一 个 纯粹 的 时 延 , 即 

T(z) = cz (7.77) 

式 中 c 是 标量 因子 ,A 是 分 析 滤 波 器 与 综合 滤波 器 级 联 所 引入 的 处 理 时 延 。 当 这 个 条 件 满足 
时 ,就 说 无 混合 多 速率 滤波 器 具有 理想 重建 特性 (perfect reconstruction property) o 

在 子 带 自 适 应 滤波 中 ,在 多 速率 数字 滤波 器 抽取 器 的 输出 端 进行 误差 信号 计算 ,因此 可 借 
助 于 抽取 取样 率 获得 计算 复杂 性 降低 。 此 外 ,通过 精心 设计 近似 满足 理想 重建 条 件 式 (7.77) 
的 分 析 和 综合 滤波 器 ,有 可 能 显著 改善 自 适应 滤波 器 的 收敛 特性 。 然 而 ,对 于 茶 些 应 用 ,例如 
回声 消除 ,对 子 带 自 适应 滤波 器 的 研究 兴趣 主要 集中 于 这 个 应 用 领域 ,处 理 时 延 A 控制 在 某 
一 范围 之 内 是 很 重要 的 ,这 是 一 项 不 易 完 成 的 任务 (Pradhan & Reddy，1999)。 为 了 描述 子 带 滤 
波 髓 的 组 成 ,我 们 选择 图 7.13(a) 的 系统 辨识 问题 。 给 定 一 个 具有 长 脉冲 响应 的 未 知 线性 动态 
系统 ,问题 是 设计 LMS 子 带 自 适 应 滤波 器 来 提供 未 知 系统 的 近似 ,使 得 误差 信号 e(n) 的 变化 
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( 即 起 着 期 望 响应 作用 的 未 知 系统 响应 与 LMS 滤波 器 实际 响应 之 差 ) 最 小 。 子 带 自 适 应 滤波 
器 完成 多 速率 数字 滤波 器 子 带 中 误差 信号 的 计算 ,两 个 子 带 ( 工 = 2) 的 例子 如 图 7.13 所 示 。 特 
别 地 ,由 未 知 系统 H(z) LMS 滤波 器 育 (z) 产 生 的 输出 信号 进行 了 如 下 处 理 : (1) 用 两 对 分 析 
滤波 器 Hy (2) Al H(z) 来 划分 子 带 ; (2) 进 行 L =2 的 抽取 ;(3) 相 减 后 得 到 一 对 误差 信号 ei(n) 
和 e,(n)。 接 着 ,这 两 个 误差 信号 再 做 以 下 处 理 :(1) 进 行 L =2 的 扩展 ;(2) 通 过 一 对 综合 滤波 
器 进行 滤波 ; (3) 合 并 产生 误差 信号 e(n), 并 根据 LMS 算法 依次 用 于 调整 自 适应 滤波 器 的 自 
由 参数 。 分 析 滤 波 器 H (2) Fl 球 (z) 及 综合 滤波 器 F(z) 的 F(z) 的 选择 满足 理想 重建 条 件 ， 
以 构成 一 个 理想 重建 滤波 器 对 。 








综合 部 分 


自 适应 滤波 器 
W(z) 







(b) 自 适 应 滤波 器 的 子 带 实现 


图 7.13 两 个 子 带 的 子 带 自 适应 滤波 器 


根据 Bellanger 等 (1976) 的 研究 ,可 由 多 相 分 解 (polyphase decomposition) 高 效 地 实现 滤波 器 
组 。 在 子 带 自 适应 滤波 中 ,可 将 多 相 分 解 用 于 LMS 滤波 器 。 按 照 定义 ,我 们 有 


W(z) = > wyz* (7.78) 
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RP 0, EIR BEN M 的 LMS 滤波 器 的 脉冲 响应 ,这 里 假设 M 为 偶数 。 将 0, 中 的 偶 元 素 
和 奇 元 素 分 开 ,并 用 分 解 形式 将 式 (7.78) 改 写 为 


W(z) = W,(z?) + ziW(z) (7.79) 
其 中 Wry = Wi, 
a (M-2)/2 
W(2)= © tips (7.80) 
Alt Wrest = Wwa, 
a (M-2)/2 
Wz) = D toyz (7.81) 
k=0 


多 相 分 解 的 使 用 为 应 用 著名 恒等式 (noble identities)® 开辟 了 道路 ,如 图 7.14 所 示 。 图 
7.14(a) 的 恒 等 关 系 1 表明 ,转移 函数 为 G(x ) 的 滤波 器 伴随 以 工 倍 抽 取 器 但 等 于 L 倍 抽取 器 
伴随 以 转移 函数 为 C(z) 的 滤波 器 ;图 7.14(b) 的 恒 等 关 系 2 表明 ,L 倍 扩展 器 伴随 以 转移 函数 
为 C(x ) 的 滤波 器 恒 等 于 转移 函数 为 6C(z) 的 滤波 器 伴随 以 工 倍 扩 展 器 。 


u—)—| ew PS = © (y= 


(a) 恒 等 关系 1 
u(n) D y(n) = u(n) CD y(n) 
(b) 恒 等 关 系 2 


图 7.14 多 速率 系统 的 著名 恒 等 关系 
因此 ,将 多 相 分 解 和 恒等式 1 应 用 于 图 7.13(b) 的 子 带 自 适 应 滤波 器 ,可 将 它 重 建 为 图 
7.15 的 形式 (Pradhan & Reddy,1999)。 这 种 新 的 自 适 应 滤波 器 可 分 为 下 列 两 种 方式 @， 
© 分 量 xi(n)、 aa(nz)、 aa(nz) 和 >x2o(z) 是 输入 信号 x(zm) 的 子 带 ; 这 些 分 量 导致 分 析 滤 波 
器 H (2) H(z) 的 输出 信号 。 
o W.(2) A 议 ,(z?) 的 两 个 副本 ,每 一 长 度 为 MM/2, 用 于 图 7.15 结构 中 ,其 中 M EW) 
长 度 。 
7.6.1 子 带 LMS 自 适应 滤波 算法 
下 面 来 讲述 由 图 7.15 中 两 个 子 带 系统 V (27) 视 ,(zz) 所 表示 的 滤波 器 权 值 的 自 适 应 。 
根据 这 个 图 可 知 ,误差 信号 e (mn) 和 e,(n) 的 z 变换 形式 分 别 为 
E,(z) = Yi(z) — Xi(z)Wi(z) 一 X12(z)Wo(2?) (7.82) 
和 
D 包括 著名 恒等式 和 多 相 分 解 的 多 速率 系统 和 波 波 器 组 的 详细 讨论 ,可 参见 Vaidynathan(1993) 的 著作 。 


四 7.15 中 自 适 应 子 带 滤波 器 的 另 一 个 新 颖 特点 是 相 邻 子 带 之 间 避 免 使 用 “ 互 滤波 器 (cross-flterm)"”。Gilloire 和 Vet- 
terli(1992) 的 著作 已 经 证 明 ,使 用 互 滤波 器 的 子 带 自 适应 滤波 器 的 收敛 性 能 要 劣 于 全 频带 自 适 应 滤波 器 。 
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E(z) = ¥2(z) — Xo1(z)Wi(z2) — Xo(z)W2(2*) (7.83) 





白 适 应 滤波 器 
图 7.15 著名 的 恒 等 关 系 1 应 用 到 图 7.13(b) 的 滤波 器 所 合成 的 子 带 自 适应 滤波 器 的 改进 形式 
注意 LMS 自 适 应 的 形式 ,最 小 化 用 瞬 态 代价 函数 定义 为 


J(n) = 5 e7(n)Pe(n) 


其 中 
e(n) = [e (n), e(n)]" 


是 误差 信号 向 量 , 而 了 是 正定 矩阵 。 如 选择 


则 可 将 钥 态 代价 函数 写成 如 下 形式 

In) = $ (ailn) + azek) (7.84) 
式 中 权 值 系数 ay 和 a, 分 别 正比 于 分 析 滤波 器 M (z) 和 砂 (z) 输 出 所 产生 的 信号 by Co) A 
b(n) 的 反 向 功率 。 用 来 调整 渡 波 器 W, C22) Wy (2) 系 数 的 基于 梯度 的 算法 定义 为 


oJ (n) 
dW, (7) 





Dln +1) = ® (n) -u k = 0,1,..., 5—1 (7.85) 
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和 

ðJ M 
aes | k=0,1,...,5 7 1 (7.86) 
其 中 0, nM 02, (zn) 是 迭代 次 数 为 n NBER W (27) OW, (27) PRR HK 
(7.84), 偏 导数 9 J Cn), (nUn)? a (nH A 


aJ(n) de,(n) de,(n) 





Ù (n +1)= w (n) 一 




















ðw ln) = eln) dw (n) t aeln) dÜ ln) (7.87) 
All 
an) ogy Bel) sex(n) 
Iti, (n) = œe (n) av, x(n) aze(n) d (n) (7.88) 
此 外 ,由 式 (7.82) 和 式 (7.83) 可 导出 如 下 一 组 偏 导数 
一 1,2 
dE(n) _ 7 r 7? 
a, O j5? M (7.89) 
k =0,1,...,— —-1 
2 
对 上 式 进行 2 变换 ,得 
de;(n) i 
dp -x(n - k) j=1,2 (7.90) 
k= 0,1,...,@- 1 
2 
将 式 (7.90) 代 入 式 (7.87) 和 式 (7.88) ,对 于 图 7.15 的 系统 ,可 得 如 下 子 带 LMS 算法 
Ban + 1) = Oy e(m) + plae (na(n — k) + ane(n)x21(n — k)] (7.91) 
(n +1) = ® (n) + wlarer(n)xy2(n — k) + ae:(n)x22(n — k)] (7.92) 


在 式 (7.91) 和 式 (7.92) 中 ,假设 两 个 子 带 的 LMS 算法 结果 相同 ,上 且 丰 =0,1,...,(M/2) -1。 

图 7.15 的 两 个 子 带 自 适 应 滤波 器 和 式 (7.91) 和 式 (7.92) 的 相应 LMS 算法 可 容易 地 推广 
到 工 个 子 带 的 一 般 情况 。 由 此 得 到 的 滤波 器 的 计算 复杂 性 与 全 频带 LMS 滤波 器 的 几乎 一 样 。 
Pradhan 和 Reddy(1999) 介 绍 了 这 种 新 算法 的 收敛 性 ,包括 计算 机 模拟 和 子 带 自 适应 滤波 器 改 
进 的 收敛 性 能 的 证 明 。 


7.7 自 适 应 滤波 算法 的 分 类 
利用 本 章 和 前 面 两 章 介 绍 的 内 容 ,以 及 某 种 意义 上 后 续 章 节 所 讲述 的 内 容 , 按 表 7.3 将 线 


性 自 适应 滤波 算法 分 类 ,将 是 有 益 的 。 在 这 个 表 中 , 自 适 应 滤波 算法 主要 分 为 两 大 类 : 


© 随机 梯度 算法 
© 精确 最 小 二 乘 算法 


随机 梯度 算法 包括 自 正 交 化 算法 作为 子 类 。 在 每 一 种 情况 下 ,算法 的 自由 参数 的 更 新 通过 两 
- 种 基本 方式 ， 
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o 以 一 个 样 值 一 个 样 值 为 基础 











o 以 一 块 一 块 为 基础 
表 7.3 线性 自 适 应 滤波 算法 的 分 类 
类 别 样 值 更 新 块 更 新 
随机 梯度 LMS, 归 一 化 LMS, 仿 射 投影 滤波 器 块 LMS 
@ 自 正 交 化 DCT-LMS, GLA SOBAF 
子 带 LMS 
最 小 二 乘 RLS RSL 
最 小 二 乘 格 型 


传统 的 LMS 算法 (采用 样 值 更 新 ) . 归 一 化 LMS 算法 、 仿 射 投 影 自 适应 算法 、 块 LMS 算法 (基于 
块 更 新 ) 都 属于 随机 梯度 算法 。 采 用 ”快速 卷 积 的 傅 里 叶 变 换 " 为 计算 块 LMS 算法 提供 了 一 种 
有 效 的 方法 。 这 是 采用 傅 里 叶 变换 有 助 于 完成 线性 自 适应 滤波 的 一 种 方式 。 

另 一 种 方式 是 , 健 里 叶 变 换 在 “ 正 交 性 的 侍 里 叶 变 换 ” 中 起 到 一 种 有 益 的 作用 ,其 例子 可 见 
DCT-LMS 算法 。 具 体 来 说 ,离散 余弦 变换 (DCT) 提供 了 一 种 逼近 样 值 正 交集 的 频 域 方法 。 
DCT-LMS 算法 采用 样 值 更 新 的 方法 。 相 反 , 在 Panda 等 (1986) 所 述 自 正 交 块 化 自 适应 滤波 器 
(SOBAF self-orthogonalizing block-adaptive filter) 中 ,用 在 式 (7.31) 中 的 单 样 值 梯度 估计 被 式 
(7.11) 块 估计 所 替代 。 实 际 上 , 表 7.1 的 算法 可 看 做 SOBAF 的 一 种 近似 方式 。 序 列 P, 是 输入 
信号 向 量 uCz) 的 功率 谱 估计 。 

在 DCT-LMS 算法 中 ,输入 数据 的 自 正 交 性 可 在 频 域 通 过 特征 值 分 解 来 近似 。 另 一 方面 ， 
在 Griffiths(1977,1978) 的 自 适应 梯度 格 型 (GAL) 算 法 中 ,输入 数据 的 近似 自 正 交 性 在 时 域 通过 
第 3.7 节 和 第 3.8 节 所 述 的 Cholesky 分 解 来 获得 ; CAL 算法 的 推导 将 在 第 12 章 介 绍 。 尽 管 
DCT-LMS 算法 和 GAL 算法 以 完全 不 同 的 方法 逼近 输入 数据 的 自 正 交 性 ,但 它们 在 直接 或 间接 
地 对 输入 数据 向 量 相关 算 阵 R 的 估 值 强加 托 伯 利 兹 结构 方面 是 相似 的 。 另 一 方面 , DCT-LMS 
算法 和 GAL 算 法 的 推导 都 源 于 广义 平稳 随机 过 程 理论 ,因为 正如 第 1 章 所 说 明 的 ,随机 过 程 
的 广义 平稳 特性 和 相关 和 矩阵 R 的 托 伯 利兹 性 质 实际 上 是 相同 的 。 托 伯 利 兹 假设 也 应 用 于 
SOBAF 滤波 。 

表 7.3 也 包含 采用 LMS 算法 实现 的 子 带 自 适应 滤波 ,因此 它 也 列 于 样 值 更 新 类 别 之 下 。 

在 线性 自 适应 滤波 算法 的 最 小 二 乘 族 (least-squares family) P ,其 例证 是 用 样 值 更 新 的 递归 
最 小 二 乘 (RLS) 算 法 (将 在 第 9 章 讲述 ) 和 块 最 小 二 乘 算法 (将 在 第 8 章 介 绍 ) ,输入 数据 的 精确 
正 交 性 在 时 域 中 完成 。 换 名 话说 ,在 这 些 算法 的 推导 中 不 做 任何 近似 , 据 此 得 到 快速 收敛 速率 
和 其 他 一 些 重 要 特性 ,这 些 都 表征 了 自 适应 滤波 的 最 小 二 乘 族 。 


7.8 本 章 小 结 
频 域 自 适应 滤波 技术 提供 了 时 域 LMS 自 适应 的 一 种 替代 途径 。 基 于 块 自 适 应 滤波 思想 


的 快速 块 LMS 算法 为 实现 具有 很 长 记忆 功能 的 自 适应 FIR 滤波 器 提供 了 一 种 计算 上 高 效 的 
方法 。 这 种 算法 充分 利用 了 称 为 重合 存储 法 的 快速 卷 积 技术 所 提供 的 计算 优势 , 它 依靠 快速 
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健 里 叶 变 换 来 实现 。 快 速 块 LMS 算法 呈现 出 类 似 于 传统 LMS 算法 的 收敛 特性 。 特 别 地 ,其 收 
敛 权 向 量 、 失 调和 快速 LMS 算法 的 平均 时 间 常 数 完全 相同 于 传统 LMS 算法 的 对 应 部 分 。 这 两 
种 算法 的 主要 区 别 在 于 : (1) 快 速 块 LMS 算法 较 传统 的 LMS 算法 有 更 紧 的 稳定 界限 ; (2) 快 速 
块 LMS 算法 对 梯度 向 量 提供 了 更 为 精确 的 估计 ,并 且 其 精确 度 随 块 大 小 的 增加 而 提高 。 遗 憾 
的 是 ,这 种 改善 并 不 意味 着 会 有 更 快 的 收敛 特性 ,因为 输入 向 量 的 相关 和 矩阵 的 特征 值 扩 散 度 
( 它 决定 了 算法 的 收敛 特性 ) 与 块 大 小 无 关 。 

本 章 讨论 的 另 一 种 频 域 自 适应 滤波 技术 利用 了 离散 余弦 变换 对 统计 最 优 K-L 变换 的 渐进 
等 价 性 关系 。 这 种 DCT-LMS 算法 为 自 正 交 化 自 适应 滤波 方法 提供 了 一 种 较为 准确 的 近似 。 
与 快速 块 LMS 算法 不 同 ,DCT-LMS 算法 是 一 种 非 块 的 算法 , 它 以 输入 数据 率 运行 ;因此 其 计算 
效率 不 如 快速 块 LMS 算法 。 

快速 块 LMS 算法 和 DCT-LMS 算法 有 一 个 共同 的 特征 :它们 都 是 基于 卷 积 的 频 域 自 适应 滤 
波 方 法 。 作 为 替代 ,可 使 用 第 7.6 节 介 绍 的 子 带 自 适 应 滤波 器 。 采 用 这 种 方法 的 一 个 动机 是 ， 
在 执行 自 适应 过 程 之 前 通过 抽取 信号 以 提高 计算 效率 。 抽 取 是 指 通 过 数字 方法 将 感 兴 趣 信 号 
的 抽取 率 从 给 定 的 速率 变 为 更 低速 率 的 过 程 。 这 个 方法 的 使 用 ,使 得 有 可 能 实现 长 记忆 的 
FIR 滤波 器 ,而 且 有 可 能 提高 计算 效率 。 这 样 ,设计 一 个 单一 的 长 记忆 滤波 器 的 任务 转变 为 设 
计 一 个 以 低速 率 并 行 工作 的 简单 滤波 器 组 。 


7.9 习题 


1. 例 1 表示 滤波 器 长 度 为 M = 3 ARK L =3 的 情况 下 块 自 适 应 滤波 器 的 运算 。 当 M = 6 和 
了 =4 时 重复 这 个 过 程 。 

2. 这 个 习题 的 目的 在 于 推导 图 7.3 信和 号 流 图 所 描述 的 快速 块 LMS 算法 的 矩阵 形式 。 
(a) 为 了 定义 一 个 构成 该 算法 运算 的 时 域 约束 , 令 


“sfo o] 
其 中 I 是 MxM 的 单位 阵 ,O 是 Mx M 的 零 矩 阵 。 试 证 明 式 (7.23) 的 权 值 更 新 公式 可 
以 改写 为 如 下 紧凑 形式 
W(k +1) = W(k) + wGU"(k)W(k) 
APERE G 表示 强加 于 梯度 向 量 计 算 上 的 约束 , 且 定 义 为 
G = FGF” 


其 中 矩阵 算 子 了 表示 离散 傅 里 叶 变换 ,F 表示 离散 傅 里 叶 反 变 换 。 
(b) 为 了 定义 构成 快速 块 LMS 算法 运算 的 另 一 个 时 域 约束 , 令 


G, = [0,1] 
HF IA O 与 先前 的 规定 一 样 ,分 别 表 示 单 位 阵 和 零 矩 阵 。 试 证 明 式 (7.21) 可 重新 定 
义 为 如 下 紧凑 形式 
E(k) = FG? e(k) 


(c) 使 用 矩阵 G 和 G, 所 表示 的 时 域 约束 , 试 给 出 快速 块 LMS 算法 每 一步 的 矩阵 表示 。 
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(d) 矩阵 G 为 何 值 时 快速 块 LMS 变 为 第 7.3 节 的 无 约束 频 域 自 适 应 滤波 算法 ? 
. 第 7.3 节 的 无 约束 频 域 自 适应 滤波 算法 具有 应 用 方面 的 限制 范围 。 至 少 找 出 一 种 不 受 忽 
略图 7.3 中 梯度 约束 影响 的 自 适应 滤波 应 用 ,并 加 以 讨论 。 
. 图 P7.1 表示 变换 域 LMS 滤波 器 的 框图 (Narayan et al. ,1983)。 抽 头 输 入 向 量 u(n) 首 先 加 
到 一 组 带 通 数字 滤波 器 , 它 通过 离散 傅 里 叶 变换 (DFT) 来 实现 。 令 x(n) 表 示 DET 输出 产生 
的 变换 向 量 。 特 别 地 ,向 量 x(n) MGR k 可 表示 为 
x(n) = Sun 一 i)e it2r/M)k k=0,1,..,M—-1 
其 中 u(n- i) EKRAANE a(n) 的 第 i 个 元 素 。 每 一 个 x,(n) 对 它 的 平均 功率 估 值 进 
行 归 一 化 。 向 量 x(n) 与 频 域 权 向 量 h(n ) 的 内 积 构成 如 下 滤波 器 的 输出 
y(n) = h”(n)x(n) 
权 疝 量 更 新 方程 为 
h(n + 1) = h(n) + wD" (n)x(n)e*(n) 
其 中 D(n) 是 M x M IRERE SEO 上 个 元 素 表 示 的 DFT 输出 ay (n JERE = 0,1, 


M - 1 的 平均 功率 ,而 yy 为 自 适 应 常数 。 如 常 ,估计 误差 定义 为 
e(n) = d(n) ~ y(n) 


其 中 d(n) 是 期 望 响 应 。 





1— ej2r/My -1 






1 — erAM(M-Dz-1 


用 DFT 实现 的 带 通 滤 波 器 组 


图 P7.1 变换 域 LMS 滤波 器 框图 ey 
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(a) 斌 证明 DFT 输出 x(n) 可 利用 下 式 递 归 计 算 
x,(n) = el2n/Mky (n 一 1) + u(n) — u(n — M) k=0,1,...,.M-—-1 
(b) 假设 适当 选择 y, 试 证 明 权 向 量 hn) 收敛 于 如 下 频 域 最 优 解 
h, = Qw, 

并 确定 Q 的 分 量 ,其 中 w, 是 时 域 维 纳 解 ,而 Q 是 由 DFT 定义 的 本 和 矩阵。 
Cc) 当 控 制 应 用 于 频 域 权 向 量 调整 量 时 ,和 矩阵 D- :以 及 DET 的 使 用 对 预 白化 (prewhitening) 

的 抽 头 权 向 量 u(n) 具 有 近似 的 影响 。 试 做 如 下 事情 : 

Ci) 验证 预 白化 效应 ; 

Gi) 讨论 如 何 对 DFT 输出 向 量 x(n) 的 特征 值 扩展 进行 预 白化 压缩 ; 

Gii) 转换 域 LMS 算法 比 传统 LMS 算法 具有 更 快 的 收敛 速率 。 为 什么 ? 
. 序列 u(n) SAR SAE C。(m) 可 分 解 为 
C,,(n) = 3 kl C(n) + C2(n)| 


其 中 由 式 (7.55) 定 义 。 
(a) 证 明 Co(n) 和 C,? (na) 可 分 别 递归 计算 为 
CP(n) = WIW CE (n — 1) + (-1)"u(n) — u(n — M)] 
和 
COn) = WR [WR CD no 1) + (-1)"u(n) — u(n — M)] 


其 中 


(b) 如 何 分 别 在 图 7.6 前 向 支 路 和 反馈 支 路 利用 与 乘 子 * “及 有关 的 乘法 因子 修改 
Ca.(n) 的 计算 (其 中 0< B86<1)? 

. 图 7.15 的 子 带 自 适应 滤波 器 可 通过 应 用 著名 恒等式 1 从 图 7.13(b) 的 子 带 自 适应 滤波 器 

导出 。 

. 式 (7.91) 和 式 (7.92) 所 述 的 子 带 LMS 算法 是 应 用 于 实数 据 的 。 试 将 该 算法 推广 到 复数 据 。 

. 式 (7.91) 和 式 (7.92) 所 述 的 子 带 自 适应 滤波 器 使 用 传统 LMS 算法 。 利 用 归 一 化 LMS 算法 

重新 表示 这 两 个 式 子 , 并 说 明 这 种 表示 有 什么 优点 。 
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在 这 一 章 中 ,我 们 将 利用 最 小 二 乘法 (method of least squares) 解 决 线性 滤波 问题 ,这 种 方法 
不 需要 对 滤波 器 输入 信号 的 统计 特性 进行 假设 。 为 了 说 明 最 小 二 乘法 的 基本 思想 ,假定 有 一 
组 实数 据 w(1),w(2),...,wu(N), 它 们 分 别 取 自 tists... ta 时 刻 。 要求 构 造 一 条 曲线 ,这 条 
曲线 能 够 以 某 种 最 优 方式 拟 合 这 些 数据 点 。 现 用 f(t, ) 表 示 这 条 曲线 与 时 间 的 函数 关系 。 根 
据 最 小 二 乘法 ,“ 最 优 ” 拟 合 是 使 f(i) 与 u(i) ,i=1,2,...,NN 之 差 的 平方 和 最 小 。 

最 小 二 乘法 可 看 成 维 纳 滤波 器 理论 的 另 一 种 表示 方法 。 本 质 上 , 维 纳 滤波 器 是 从 集 平 均 导 出 
的 ,其 结果 是 一 种 统计 意义 上 最 优 的 \ 在 各 种 现实 运行 环境 下 获得 的 滤波 器 ;并 假定 该 滤波 器 所 处 
的 环境 是 广义 平稳 的 。 另 一 方面 ,最 小 二 乘法 是 确定 性 的 。 具 体 来 说 ,由 于 它 涉及 使 用 时 间 平 均 ， 
故 其 滤波 结果 取决 于 计算 中 所 用 的 样本 数 。 在 计算 过 程 中 ,最 小 二 乘法 是 一 种 批 处 理 方法 ,因为 最 
小 二 乘 滤波 器 用 来 处 理 一 批 输入 数据 ( 即 数据 块 )。 这 种 滤波 器 通过 一 个 数据 块 接 一 个 数据 块 的 重 
复 计算 来 适应 非 平稳 数据 。 因 此 其 运算 量 比 递归 最 小 二 乘法 要 多 得 多 。 不 过 ,由 于 计算 能 力 已 不 
再 像 以 前 那样 成 为 这 种 方法 的 障碍 ,所 以 ,这 种 批 处 理 方法 正在 变 得 越 来 越 具 有 吸引 力 。 

我 们 从 概述 最 小 二 乘 估计 问题 的 存在 性 开始 ,对 这 一 方法 进行 讨论 。 


8.1 线性 最 小 二 乘 估计 问题 


考虑 某 一 物理 现象 , 它 可 以 用 两 组 变量 4(i) 和 w(i) 来 表征 。 变 量 4(i) 是 i 时刻 观 测 到 
的 响应 ,此 时 加 在 滤波 器 输入 端的 是 变量 u(i),u(i-1),...， uli- M+1) 构 成 的 子 集 。 也 就 
是 说 ,，d (让 是 输入 u(i),u(i-1),...,ui-M+)D HRM. BERRBMKABAEN IFA 
响应 d( 让 可 建 模 为 


M-1 
d(i) = 2 wauli — k) + ei) i (8.1) 


其 中 wu 是 模型 的 未 知 参数 ,e. CORRWERRE Ff AT RRA ER SIT EE. 
式 (8.1) 中 求 和 项 的 每 一 项 都 表示 标量 的 内 积 。 实 际 上 , 式 (8.1) 表 示 的 模型 说 明 , 除 误差 
e,(i) 外 的 变量 d( 让 可 由 输入 变量 u(i), uli -1),... u(i- M+1) 的 线性 组 合 来 确定 。 该 
模型 称 为 多 重 线性 回归 模型 ,其 信号 流 图 如 图 8.1 所 示 ( 多 重 线性 回归 模型 用 于 第 5 章 和 第 6 
章 以 产生 LMS 算法 所 需要 的 观测 数据 )。 

测量 误差 e, (让 是 不 可 测 的 随机 信号 , 它 用 来 说 明 模型 的 不 精确 程度 。 习 惯 上 ,认为 测量 
误差 过 程 e, (让 是 均值 为 0、 方 差 为 e MAUR , Bp 

Eleo(i) =0 ”对 所 有 i 

和 


OOE a 
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观测 值 d(i) 
图 8.1 多 重 线性 回归 模型 


这 个 假设 隐 含 意味 着 我 们 可 用 集 平 均 的 形式 将 式 (8.1) 改 写 为 


E[d(i)] = $ wheal ~ k) 


其 中 ,xz 人 (al ui-W+Il) 的 值 是 已 知 的 ( 即 确定 性 的 )。 因 此 ,响应 4( 让 的 均值 
理论 上 由 模型 惟一 确定 。 

我 们 必须 解决 的 问题 是 ,在 给 定 两 个 可 测 变量 集 u( 让 和 dCi), i =1,2,...,N 的 情况 下 ， 
估计 图 8.1 所 示 的 多 重 线性 回归 模型 的 未 知 参 数 wo,。 为 此 ,假定 采用 图 8.2 所 示 的 线性 横向 
滤波 器 作为 该 问题 的 模型 。 通 过 组 成 抽 头 输入 u(i),u(i-1),...,uGi- MM+1) 与 相应 的 抽 
头 权 值 wo ,wi ,... ,wu_1 之 间 的 内 积 ,并 用 d( 让 作为 期 望 响应 ,我 们 将 估计 误差 或 残 差 (i) RE 
义 为 期 望 响应 4a(i) 和 滤波 器 输出 y( 丫 之 间 的 差 值 , 即 


e(i) = d(i) — y(i) (8.2) 
其 中 
y(i) = Fuiu - k) (8.3) 
将 式 (8.3) 代 入 式 (8.2) 可 得 
e(i) = d(i) — 2 wkuli = k) . (8.4) 


在 最 小 二 乘法 中 ,横向 滤波 器 抽 头 权 值 的 选择 应 使 得 误差 平方 和 构成 的 代价 函数 为 最 小 ,该 代 
价 函 数 定义 为 
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(uy, ... Wy) = Die? (8.5) 
其 中 志和 i 定义 了 i 的 取 值 范围 ,我 们 在 这 一 范围 内 考虑 使 误差 最 小 化 , 式 中 的 和 也 可 看 成 
误差 能 量 。i 和 i, 的 取 值 取决 于 数据 开 窗 的 情况 ,该 内 容 将 在 第 8.2 节 中 讨论 。 总 的 说 来 ， 
我 们 要 解决 的 问题 就 是 将 式 (8.4) 代 入 式 (8.5) ,然后 使 得 到 的 代价 画 数 名 (w,..., wui ) 相 对 
于 横向 滤波 器 (如 图 8.2 所 示 ) 的 抽 头 权 值 为 最 小 。 当 该 代价 函数 为 最 小 ( 即 实现 最 小 化 ) 时 ， 
滤波 器 的 抽 头 权 值 wo, wis... wy i FE isisi 的 间隔 内 保持 不 变 。 最 小 化 结果 得 到 的 滤波 
器 叫做 线性 最 小 二 乘 滤波 器 。 


输入 
u(i) 





uli — 1) uli ~ M + 2) uli— M+ 1) 


误差 信号 eli) 


图 8.2 线性 横向 滤波 器 模型 


8.2 数据 开 窗 


假定 图 8.2 中 横向 滤波 器 模型 所 用 的 抽 头 权 值 共 有 M 个 ,根据 赋 给 式 (8.5) 的 志和 之 
值 ,由 输入 数据 zx(1),x(2),，...,x(CN) 构 成 的 矩阵 可 以 有 不 同 的 形式 。 比 较 典 型 的 数据 开 窗 
(data windowing) 方 法 有 四 种 ， 


1) 协 方差 法 (covariance method) 这 种 方法 对 时 间 段 [1, N] 之 外 的 数据 不 做 假设 。 因 此 ， 
由 定义 的 极限 范围 i = Md, = N 可 以 将 输入 数据 用 和 抢 阵 表示 为 


u(M) u(M+1) … uf{N) 
u(M — 1) u(M) © u(N — 1) 
u(1) l u(2) . u(N - M +1) 


2) Á 48% Jk (autocorrelation method) 这 种 方法 假定 时 间 i = 1 之 前 以 及 i= N 之 后 的 数据 
为 0。 故 取 红 =1 和 = N+M-1, 于 是 输入 数据 的 矩阵 形式 为 
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u(1) u(2) … u(M) u(M+1) … u(N) : 0 E 0 
0 ul) = u(M-—1) u(M) > u(N — 1) u(N) e 0 
0 0 uD) ae WN = M41) N= M) = u(N) 


3) 前 开 窗 法 (prewindowing method) ”这 种 方法 将 i = 1 之 前 的 输入 数据 假定 为 0, 但 对 
i = N 之 后 的 数据 不 做 假设 。 故 取 i = 1 和 i = NN, 于 是 输入 数据 的 矩阵 为 


u(1) u(2) … u(M) u(M+1) = u(N) 
0 u(1) = u(M — 1) u(M) =- u(N — 1) 
0 0 Lo u(1) u(2) vo uN — M+1) 


4) 后 开 窗 法 (postwindowing method) ”这 种 方法 对 i = 1 之 前 的 输入 数据 不 做 假设 ,但 将 
i= N 之 后 的 数据 假设 为 0。 故 取 = M 和 N+M -1, 于 是 输入 数据 的 矩阵 为 


u(M) u(M +1) = u(N) 0 0 
u(M — 1) u(M) © u(N — 1) u(N) e 0 
u(1) u(2) Le u(N —-M+1) u(N 一 M) ve u(N) 


“ 协 方差 法 "和 “ 自 相 关 法 ”这 两 个 术语 通常 用 于 语音 处 理 文献 中 (Makhoul, 1975; Markel & 
Gray,1976)。 但 这 两 个 术语 的 应 用 并 不 是 基于 协 方差 函数 的 标准 定义 ( 即 作为 去 除 均值 的 相 
关 函 数 ) 的 。 由 式 (8.5) 表 示 的 性 能 指标 的 最 小 化 可 导出 一 个 方程 组 ,对 该 方程 组 中 已 知 参数 
含义 的 解释 就 是 这 两 个 术语 的 由 来 。 协 方差 法 的 名 称 来 自控 制 论 ,其 中 抽 头 输入 的 均值 为 零 ， 
协 方差 矩阵 的 元 素 可 用 这 些 已 知 参 数 表 示 。 而 自 相关 法 的 名 称 来 自 上 述 条 件 下 用 已 知 参 数 表 
示 抽 头 输入 的 短 项 自 相关 函数 。 值 得 注意 的 是 ,在 上 面 所 述 的 四 种 开 窗 方法 中 ,只 有 自 相关 法 
中 输入 数据 生成 的 相关 和 拖 阵 是 托 伯 利 兹 (Toeplitz) 矩 阵 。 

在 本 章 的 其 余部 分 ,除了 习题 4 涉及 到 自 相 关 法 外 ,我 们 将 集中 讨论 协 方差 法 ; 预 开 窗 法 
将 在 后 续 章 节 中 讨论 。 


8.3 正 交 性 原理 的 进一步 讨论 


第 2 章 推导 维 纳 (Wiener) 滤 波 理论 时 ,我 们 首先 在 集 平均 意义 上 导出 了 广义 平稳 离散 随 
机 过 程 的 正 交 性 原理 ,然后 用 该 原理 导出 维 纳 - 霍 夫 (Wiener-Hopf) 方 程 ,此 方程 是 维 纳 滤波 器 
的 数学 基础 。 本 章 我 们 将 以 类 似 的 方法 进行 讨论 ,首先 在 时 间 平 均 的 基础 上 导出 正 交 性 原理 ， 
然后 应 用 该 原理 导出 方程 组 ( 称 为 正则 方程 ) ,该 方程 组 构成 线性 最 小 平方 滤波 器 的 数学 基础 。 
该 理论 由 协 方差 法 推导 得 出 。 

协 方差 法 中 的 代价 函数 ,或 者 说 误差 的 平方 和 定义 为 


Elwo... , wm) = Del (8.6) 


按照 式 (8.6) 的 方式 选取 时 标 i 的 范围 ,实际 上 保证 了 对 任意 的 i, 图 8.2 所 示 横 向 滤波 器 的 全 
部 村 个 抽 头 输入 具有 非 零 值 。 正 如 上 面 提 到 的 ,我 们 所 要 解决 的 问题 是 确定 使 误差 平方 和 为 
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最 小 的 横 问 滤波 器 的 抽 头 权 值 。 为 此 , 先 将 式 (8.6) 改 写 为 


N 
Elwo.. ,20w-1) = 之 e(i)e*{i) (8.7) 
其 中 估计 误差 e( 引 由 式 (8.4) 定 义 。 设 第 个 抽 头 权 值 用 实 部 和 虚 部 表示 为 
Wy = ay + jb, k=0,1,...,.M-—1 (8.8) 
将 式 (8.8) 代 人 式 (8.4) ,可 得 
M-1 
e(i) = d(i) — 2 (4 — jb)u(i — k) (8.9) 


将 梯度 向 量 V 的 第 & 个 分 量 定 义 为 代价 函数 6(wo,.. .ww_1) 对 抽 头 权 值 w, 实 部 和 虚 部 的 
导数 
og ol 








WE = go + i (8.10) 
将 式 (8.7) 代 入 式 (8.10) ,并 注意 到 估计 误差 e(i) 在 一 般 情 况 下 是 复 值 函 数 ,于 是 有 
N oe*(i de(i de*(i oeli 
Ve = -Sle o + e*(i) + je(i) “ee + je(i) a (8.11) 
将 式 (8.9) 中 的 c(i) Xt w, 的 实 部 和 虚 部 求 导数 ,得 到 以 下 四 个 偏 导数 
de(i) . 
ba, = —u(i — k) 
= —u*(i — k) 
deli) ，， (8.12) 
ab 一 juli — k) 
de*(i 
ze TU k) 
将 这 四 个 偏 导数 代入 式 (8.11) , 即 得 
N 
VE = -22 u(i — k)e*(i) (8.13) 


ArT AER PRE w, ..., wu_1) 关 于 图 8.2 的 横向 滤波 器 抽 头 权 值 wos... , wn_1 最 小 
化 ,要 求 同 时 满足 下 列 条 件 
Vig=0 k=0,1,...,M—-1 (8.14) 
用 el 让 表 示 按 照 式 (8.14) 使 代价 函数 名 (wo ,... ,wm-1) 为 最 小 ( 亦 即 横向 滤波 器 最 优 ) 时 求 出 
的 估计 误差 ew (让 的 特殊 值 。 从 式 (8.13) 容 易 看 出 , 式 (8,14) 表 示 的 条 件 等 效 于 下 列 方程 组 
Suli — Keka(i) = 0 k=0,1,..,M-1 (8.15) 


i=M 
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式 (8.15) 是 正 交 性 原理 的 瞬时 描述 。 式 (8.15) 左 边 的 时 间 平 均 ?, 表 示 〖 值 固定 时 时 间 间 
MIM, N] 上 i 时 刻 的 抽 头 输入 wu(i -上 ) 与 最 小 合计 误差 enn (让 之 间 的 互相 关 。 相 应 地 ,可 以 
将 正 交 性 原理 描述 如 下 : 

在 最 小 二 乘 条 件 下 ,最 小 误差 时 间 序 列 em (i) 与 横向 滤波 器 第 上 个 抽 头 上 的 输入 序列 

u(i-k)£R,k=0,1,...,.M-1,M 为 横向 滤波 器 长 度 。 

这 一 原理 为 我 们 检查 横向 滤波 器 是 否 工 作 在 最 小 二 乘 条 件 下 提供 了 简单 的 测试 方法 。 需 
要 确定 的 只 有 估计 误差 和 输入 到 滤波 器 各 个 抽 头 的 时 间 序 列 之 间 的 时 间 平 均 互 相关 。 当 且 仅 
4M 个 互相 关 函 数 全 都 为 零 时 ,代价 函数 @(wo ,...,ww-i) 才 是 最 小 的 。 


8.3.1 推论 
用 ww, ..., wu ARA 8.2 所 示 横 向 滤波 器 在 最 小 二 乘 条 件 下 达到 最 优 时 抽 头 权 值 
Wos Wis... WM] 的 取 值 。 由 式 (8.3) 可 得 到 该 滤波 器 的 输出 为 
M-i 
ymin(i) = 2 kuli -= k) (8.16) 


这 个 输出 给 出 了 期 望 响应 4( 引 的 最 小 二 乘 估计 , 它 是 抽 头 输入 uli), uli -1),..., 
uli- 用 +1) 的 线性 组 合 , 故 称 此 估计 为 线性 估计 。 用 所; 表示 由 (i),...,u(i- MM+1) 生 成 
的 空间 ,用 d(il;) 表 示 给 定 空间 4; 时 期 望 响应 d( 让 的 最 小 二 乘 估 计 。 于 是 有 


d(i|W) = ymin(i) (8.17) 
或 
、 M-1 
da(i|U;) = 2 wiuli —k) (8.18) 


PMBBA (8.15) PROF d; ,然后 在 区 间 [0,M - 1] 上 对 有 求 和 。 通 过 交换 求 和 次 序 ， 
可 以 得 到 | 


,kuti 一 K) fetal =0 (8.19) 


ER d(i1;) 左 边 方 括号 内 的 求 和 项 是 式 (8.18) 表 示 的 最 小 二 乘 估计 。 因 此 ,可 将 式 (8.19) 
简化 为 

N 

D Ui uekil) =0 (8.20) 
式 (8.20) 是 对 正 交 性 原理 推论 的 数学 描述 。 由 此 可 见 ,上 式 左 边 的 时 间 平 均 是 dG) 
eu (i) 两 个 时 间 序 列 的 互相 关 。 因 此 ,可 将 正 交 性 原理 的 推论 描述 如 下 ; 


当 横 向 滤波 器 在 最 小 二 乘 条 件 下 运行 时 ,滤波 器 输出 端 产生 并 用 时 间 序 列 4(i| 纪 ;) 表 示 
的 期 望 响 应 最 小 二 乘 估 值 与 最 小 估计 误差 时 间 序 列 em GANA i 相互 正 交 。 





O 为 了 准确 应 用 “时 间 平 均 ” 这 一 术语 ,应 该 在 式 (8.15) 的 左边 除 以 求 和 项 的 总 数 N - M +1。 显然 ,这 种 运算 对 等 式 
没有 影响 。 为 了 表示 方便 ,我 们 不 考虑 这 个 比例 因子 。 


第 8 章 ， 最 小 二 乘法 309 
该 推论 的 几何 表示 可 参见 第 8.6 节 。 
8.4 误差 的 最 小 平方 和 


式 (8.15) 给 出 的 正 交 性 原理 描述 了 代价 函数 名 ( wo，,…, ww-;) 相 对 于 滤波 器 抽 头 权 值 
Wo, Wis... ,wx-1 取 最 小 值 时 图 8.2 所 示 横 向 滤波 器 的 最 小 二 乘 条 件 。 为 求 出 代价 函数 的 最 
小 值 , 也 就 是 误差 的 最 小 平方 和 gm ,显然 可 以 号 出 


d(i) = d(i|U,) + emin(i) 
期 望 期 望 响 估 值 误差 (8.21) 
响应 应 的 佑 值 
在 区 间 [M,N] 上 计算 时 间 序列 a(i) 的 能 量 , 并 应 用 正 交 性 原理 的 推论 [ 即 式 (8.20)] 可 得 
Ea = Soy + Emin (8.22) 
其 中 
ul 2 
a = 之 jd (8.23) 
Ees = 5 a(i u) (8.24) 
i=M 
Emin = > Jemini) , (8.25) 
i=M 


整理 式 (8.22) ,可 用 分 别 在 时 间 序 列 dCi) A d(il%;) 中 的 能 量 %s 和 能 量 %。 ,将 误差 的 最 小 平 
方 和 8 min BARA 
Emin = Ba — Best (8.26) 

显然 ,对 不 同 的 i AEEA dCi), WAT ey sh (8.23) PRES, ,至 于 dU ) (Ray 
应 估计 的 时 间 序 列 ) 中 所 含 能 量 %。 的 计算 将 在 下 一 节 讨论 。 

因为 %ws 是 非 负 的 ,所 以 式 (8.26) 右 边 的 第 二 项 不 会 超过 %s。。 事 实 上 ,只 有 当 多 重 线性 回 
归 模 型 (如 图 8.1 所 示 ) 的 测量 误差 e (i) 对 所 有 的 i 都 为 零 时 , 式 (8.26) 中 的 第 二 项 才 会 达到 
Ea 的 值 ,而 这 种 情况 是 不 可 能 的 。 

另 一 种 情况 是 %wn 等 于 a ,此 时 最 小 二 乘 问题 是 欠 定 的 。 这 种 情况 发 生 在 数据 点 比 参 数 少 
的 情况 下 ,此 时 估计 误差 为 零 从 而 &。 也 为 零 。 但 需要 注意 的 是 , 当 最 小 二 乘 问题 为 从 定时 ,该 
问题 没有 惟一 解 (此 情况 将 在 本 章 的 稍 后 部 分 讨论 )。 


8.5 正则 方程 和 线性 最 小 二 乘 滤波 器 


图 8.2 所 示 的 线性 横向 滤波 器 ,有 两 种 基本 上 等 效 的 、 描 述 滤波 器 最 小 二 乘 条 件 的 方法 。 
式 (8.15) 描 述 的 正 交 性 原理 代表 一 种 方法 ,而 正则 方程 代表 男 一 种 方法 (值得 注意 的 是 ,之 所 
以 称 之 为 正则 方程 是 因为 它 是 由 正 交 性 原理 推出 的 )。 当 然 ,我 们 可 以 列 出 梯度 向 量 V 多 与 滤 
波 器 抽 头 权 值 之 间 的 关系 式 ,然后 解 出 梯度 Vg 为 零 时 的 权 向 量 mw, 由 此 导出 此 方程 组 。 我 们 
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也 可 以 从 正 交 性 原理 导出 正则 方程 。 在 本 节 ,我 们 用 后 一 种 方法 (间接 法 )。 至 于 前 一 种 方法 
(直接 法 ) , 感 兴趣 的 读者 可 参见 习题 7。 

式 (8.15) 所 描述 的 正 交 性 原理 建立 了 一 组 抽 头 输入 与 最 小 估计 误差 ew (i) 之 间 的 关系 。 
令 式 (8.4) 中 的 抽 头 权 值 为 最 小 二 乘 意义 下 的 最 优 权 值 ,可 得 


M-1 
Eminli) = dli) — X wiu(i— t) (8.27) 
t=0 
这 里 ,我们 特意 使 用 ; 作为 等 式 右边 虚设 的 求 和 下 标 。 将 式 (8.27) 代 入 式 (8.15) ,整理 后 可 得 
M 个 联 立 方程 组 
M-i N N 
2o Dul — k)u*(i — t) => u(i — k)d*(i) k=0,...,M-1 (8.28) 


式 (8.28) 中 两 个 以 i 为 下 标的 和 式 表示 求 时 间 平 均 ,只 是 没 考虑 比例 因子 。 这 可 解释 如 下 : 
1. 式 (8.28) 左 边 的 时 间 平 均 (对 让) 表示 图 8.2 所 示 线 性 横向 滤波 器 中 抽 头 输入 的 时 间 平 
均 自 相关 锐 数 ,可 以 写 为 


b(t, k) = S uli —kju*(i-t) O<(t,k)<M—-1 (8.29) 


i= 


2. 式 (8.28) 右 边 的 时 间 平 均 ( 也 对 i) Pea A 5 en RT Ey HK 
数 , 可 以 写 为 


z(-k) = Su — k)d*(i) 0 入 上 和 M-1 (8.30) 
相应 地 ,可 将 瞬 态 方程 组 (8.28) 改 写 为 

> e964) =z-k) k=0,1,...,M-1 (8.31) 
方程 组 (8.31) 是 线性 最 小 二 乘 滤 波 器 正则 方程 的 展开 形式 。 
8.5.1 正则 方程 的 矩阵 形式 


我 们 可 以 将 式 (8.31) 表 示 的 方程 组 改写 为 矩阵 形式 。 首 先 引 入 如 下 定义 ， 
1) 输入 ww( ,wu(i-1),...,u(i-M 必 +1) 的 MxM 时间 平均 自 相 关 和 矩阵 为 


(0, 0) (1, 0) + (M — 1,0) 
® = $0,1) $1, 1) 机 $M - 1,1) (8.32) 
POM-1) @(1,M—1) = $(M-1,M - 1) 
2) 抽 头 输入 uli) uli -1),...,u(i -M+1) 与 期 望 响应 d()ZAK Mx1I 时 间 平 均 互 
相关 向量 为 
z = [z(0), z(-1),...,2(-M + 1) (8.33) 


3) 最 小 二 乘 滤波 器 的 M x 1 抽 头 权 向 量 为 


W = [tio Ds... p yal” 


(8.34) 


第 8 章 最 小 二 来 法 311 


现在 ,可 按照 这 些 矩 阵 定 义 , 将 M 个 联 立 方程 组 (8.31) 简 单 地 改写 为 
Ow =z (8.35) 
式 (8.35) 是 线性 最 小 二 乘 滤波 器 正则 方程 的 矩阵 形式 。 

假定 更 是 非 奇 异 阵 ,因此 逆 和 矩阵 理 - :存在 ,可 由 式 (8.35) 解 得 线性 最 小 二 乘 滤波 器 的 抽 头 

权 向 量 为 
w= 7z (8.36) 
( 逆 和 矩阵 中 ”存在 的 条 件 将 在 第 8.6 节 中 讨论 )。 

式 (8.36) 是 一 个 很 重要 的 结果 : 它 是 矩阵 形式 的 维 纳 - 霍 夫 方程 (2.36) 在 线性 最 小 二 乘 条 
件 下 的 解 。 式 (8.36) 表 明 线 性 最 小 二 乘 滤波 器 的 抽 头 权 向 量 人 由 滤波 器 抽 头 输入 的 时 间 平 均 
相关 和 矩阵 O 的 逆 矩 阵 与 抽 头 输入 和 期 望 响应 之 间 时 间 平 均 互相 关 向 量 z 的 乘积 惟一 确定 。 
实际 上 ,该 方程 是 导出 线性 最 小 二 乘 滤 波 器 各 种 递 推 公式 的 基础 ,相关 内 容 将 在 本 书 的 后 续 章 
节 中 讨论 。 


8.5.2 误差 的 最 小 平方 和 


式 (8.26) 定 义 了 误差 的 最 小 平方 和 %ws。 下 面 我 们 来 计算 ws , 即 期 望 响应 能 量 %。 与 期 望 
响应 估计 能 量 6。 之 差 。 通常 ,%s 由 表示 期 望 响 应 的 时 间 序 列 确 定 。 为 计算 %。 ,有 


N 
est = > |d(i | a)? 


N M-IM-1 
-5 Džul — k)u*(i — t) (8.37) 
i=M 120 k=0 
M-1M-1 N 
= w wk Sd uli — k)u*(i — t). 
=0 k=0 i=M 


式 中 第 二 行 利 用 了 式 (8.18)。 式 (8.37) 最 后 一 行 中 最 里 层 对 时 间 i 求 和 表示 时 间 平 均 自 相关 
函数 $8(1,k) [参见 式 (8.29) ]。 因 此 ,可 将 式 (8.37) 改 写 为 
M-1M-1 
Best = > D wf b(t, ků, 
t=0 k=0 
= wow 
其 中 ,w 是 最 小 平方 抽 头 权 向 量 ,四 是 抽 头 输入 的 时 间 平 均 相关 矩阵。 根据 正则 方程 式 
(8.35) ,和 矩阵 的 乘积 Ow 等 于 互相 关 向 量 z, 可 进一步 简化 8 的 计算 公式 。 因 此 ,我 们 有 


(8.38) 


Son = WD 
_ A (8.39) 
最 后 ,将 式 (8.39) 代 入 式 (8.26) FF BLOT w I ASR(8.36) ,可 得 
Emin = Ba 一 aw ) 
= €, 一 Z” (8.40 


式 (8.40) 是 用 三 个 已 知 量 表 示 的 误差 最 小 平方 和 的 计算 公式 。 这 三 个 已 知 量 分 别 是 :期 望 响应 的 能 
HAS 、 抽 头 输入 的 时 间 平 均 相关 和 矩阵 理 以 及 抽 头 输入 与 期 望 响应 之 间 的 时 间 平 均 互 相关 向 量 z。 
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8.6 ”时 间 平 均 相 关 和 矩阵 O 


式 (8.32) 给 出 了 抽 头 输入 对 时 间 平 均 的 相关 和 矩 阵 (或 简称 相关 和 矩阵 )@ 的 展开 形式 ,其 元 
R $8(t,k) 由 式 (8.29) 定 义 。$(t,) 中 的 下 标 大 对 应 矩阵 四 的 行 ,下 标 上 则 对 应 列 。 令 M x 1 
抽 头 输入 向 量 为 


u(i) = [u(i) u(i — 1),...,u(i M+ DT (8.41) 
则 可 利用 式 (8.29) 和 式 (8.41) 将 相关 和 矩阵 理 重 新 定义 为 外 积 的 时 间 平 均 如 下 


N 
® = 之 am 人) (8.42) 


WY #2) SIE EAT PEE 惠 , 式 (8.42) 中 的 和 式 应 该 除 以 比例 因子 (W- M +1). 
在 统计 学 文献 中 ,含有 比例 因子 的 @ 称 做 样本 相关 矩阵。 不 管 是 否 含有 比例 因子 ,按照 式 
(8.42) 给 出 的 定义 ,可 以 很 容易 地 得 到 相关 和 矩阵 的 如 下 特性 : 
特性 1 相关 和 矩阵 O ERIRE EE, Bp 
$i=® 
这 一 特性 可 由 式 (8.42) 直 接 得 出 。 
特性 2 相关 和 矩阵 下 是 非 负 定 的 , 即 对 任意 M x1 向 量 x, 有 
x? @x > 0 


应 用 式 (8.42) 的 定义 ,可 导出 特性 2 如 下 


xzdgx = TF gH) ut (ix 
EN 
N 
- $ aila] 
= IOIEN, 
IEM 


特性 3 “SAM SKE ® 的 行列 式 非 零 时 ,相关 和 矩阵 © 是 非 奇 异 的 。 
所 谓 非 奇 异 的 ,是 指 其 道 抢 阵 存 在 。 更 的 道 矩 阵 用 四 -表示 ,定义 为 
_, _ adj(®) 
= det(®) (8.43) 


其 中 ajd@ 是 旬 的 伴随 矩阵 ,矩阵 的 每 一 项 分 别 是 det( 鲁 ) 中 元 素 的 余子 式 。 由 式 (8.43) 很 容 
Deh, 4AM det(@®) ONDE D A. ALAA, 481024 det(®) ~0 WY, KE 
K o 是 非 奇 异 的 。 

特性 4 FS © 的 特征 值 全 为 实数 且 非 负 。 

@ 的 特征 值 为 实数 由 特性 1 可 得 ,所 有 的 特征 值 非 负 由 特性 2 可 得 。 


特性 5 相关 和 矩阵 是 两 个 托 伯 利兹 矩阵 的 乘积 ,它们 互 为 埃 尔 米 特 转 置 。 


第 8 章 最 小 二 来 法 313 


一 般 说 来 ,相关 和 矩阵 不 是 托 伯 利兹 矩阵 。 这 一 点 由 矩阵 的 展开 式 (8.32) 可 以 得 到 验 
证 。 主 对 角 线 元 素 $(0,0),$(1,1),...,$(M-1,M-1) 具 有 不 同 的 值 ;对 主 对 角 线 上 面 或 下 
面 的 第 二 对 角 线 情况 也 一 样 。 然 而 ,和 矩阵 o 的 结构 在 某 种 意义 上 具有 特殊 性 。 那 就 是 : 它 是 
两 个 托 伯 利 兹 矩阵 的 乘积 。 为 证 明 该 特性 ,首先 用 式 (8.42) 将 矩阵 四 表示 如 下 


uw (M) 
® = [u(M),u(M + 1),...,u(N)] u“(M 71) 
u”(N) 
下 面 , 为 表示 方便 , 引 和 人 数据 矩阵 A, 其 埃 尔 米 特 转 置 定义 为 
A” = [u(M), u(M@ +1), =, u(N)] 

u(M) u(M +1) … uN) 

uM — 1) u(M) + u(N — 1) (8.44) 

u(1) u(2) e uN — M+1) 


可 以 看 出 , 式 (8.44) 右 边 是 用 协 方差 方法 对 数据 开 窗 后 的 输入 数据 矩阵 (参见 第 8.2 节 )。 因 
此 ,根据 式 (8.44) 的 定义 ,可 以 用 紧凑 的 形式 将 矩阵 © BRE LH 
© = AMA (8.45) 
从 式 (8.44) 第 二 行 可 以 看 出 ,A” EM x (N- Mr+1I) 托 伯 利 兹 矩阵 。 数 据 矩 阵 A 本 身 是 
一 个 (W- M +1) x M 托 伯 利 兹 矩阵 。 因 此 ,从 式 (8.45) 可 以 看 出 ,相关 矩阵 © EP ICI 
兹 矩阵 的 乘积 ,它们 互 为 埃 尔 米 特 转 置 。 于 是 ,就 完成 了 特性 5 的 推导 。 


8.7 根据 数据 矩阵 构建 正则 方程 


WKE 更 和 互相 关 向 量 z, 式 (8.35) 给 出 了 最 小 二 乘 横向 滤波 器 的 正则 方程 组 。 
我 们 可 以 利用 式 (8.45) 中 的 数据 矩阵 表示 抽 头 输入 的 相关 矩阵 ® 以 及 抽 头 输 人 与 期 望 响 应 
之 间 的 互相 关 向 量 z 来 重新 构建 正则 方程 。 为 此 ,引入 期 望 数 据 向 量 d, 该 向 量 由 [MN,Nw] 间 隔 
内 时刻 的 期 望 响应 d( 让 构成 , 即 
d* = [d(M),d(M + 1),...,d(N)]| (8.46) 
注意 ,为 了 与 式 (8.44) 中 数据 矩阵 A 的 定义 相 一 致 ,在 向 量 a 的 定义 中 我 们 应 用 了 埃 尔 米 特 转 
置 来 代替 一 般 的 转 置 。 有 了 式 (8.44) 和 式 (8.46) 的 定义 ,就 可 以 利用 式 (8.30) 和 式 (8.33) 来 表 
示 互 相关 向 量 
z= Aa . (8.47) 
另外 ,我们 还 可 以 将 式 (8.45) 和 式 (8.47) 代 入 式 (8.35) 中 ,将 正则 方程 组 用 数据 矩阵 A 和 期 望 
数据 向 量 d 表示 为 
A” Aw = Azd 
从 这 一 方程 可 以 看 出 ,使 代价 函数 8 最 小 的 方程 组 可 以 表示 为 Aw = d。 假 定 逆 和 矩阵 (A2A) F 
在 ,我 们 可 以 解 此 方程 组 ,得 最 优 权 向 量 为 
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w = (AMA) "A“a (8.48) 
因此 ,通过 将 式 (8.45) 和 式 (8.47) 代 入 式 (8.40) 以 及 将 式 (8.46) 代 人 式 (8.23) ,可 根据 数据 矩 
阵 A 和 dd 重新 表示 线性 最 小 二 乘 问题 的 求解 结果 。 这 样 , 就 可 以 将 误差 的 最 小 平方 和 改写 为 
Emin = dzd — d¥A(AYA)'A¥a (8.49) 
虽然 这 个 公式 看 起 来 有 点 麻烦 ,但 有 其 突出 的 特点 , 即 可 直接 用 数据 矩阵 A 和 期 望 数据 向 量 d 
显 式 表 示 最 优 解 。 
8.7.1 投影 算 子 
式 (8.48) 根 据 数据 和 矩阵 A 和 期 望 数据 向 量 d 定 义 了 最 小 二 乘 抽 头 权 向 量 w。 因 此 ,d 的 
最 小 二 乘 估计 可 表示 为 
d = Aw 
= A(A"A) 'A“d 
相应 地 ,可 将 矩阵 连 乘 ACA" A) A" 看 成 是 线性 空间 上 的 投影 算 子 。 该 空间 由 数据 矩阵 A 的 
列 生成 ,就 是 当 i= N 时 前 面 提 到 的 空间 WM;。 用 P 表示 该 投影 算 子 ,于 是 有 
P = A(ASA) A (8.51) 


(8.50) 


矩阵 的 差 为 
I- A(A“A)'AY =1 -P 
FE IE 2S Fh ELE (orthogonal complement projector)。 容 易 看 出 ,投影 算 子 以 及 正 交 补 投影 算 子 
均 由 数据 矩阵 A 惟一 确定 。 投 影 算 子 P 作用 于 期 望 数据 向 量 d, 得 到 相应 的 估计 G。 另 一 方 
面 , 正 交 补 投影 算 子 TI- 了 作用 于 期 望 数据 向 量 d, 得 到 估计 误差 向 量 eu =d-d。 图 8.3 说 明 
了 投影 算 子 以 及 正 交 补 投影 算 子 的 功能 。 
加 a 


图 8.3 投影 算 子 P 和 正 交 补 投影 算 子 I-P 


例 1 
有 一 具有 两 个 抽 头 ( 即 M =2) 的 线性 最 小 二 夹 滤 波 器 ,其 输入 时 间 序 列 由 4 个 实 样 值 组 成 
( 即 NN=4)。 因 此 ,N- M+1=3。 输 入 数据 矩阵 A 和 期 望 数 据 向 量 d 如 下 


u(2) u(1) 
A = | u(3) u(2) 
u(4) u(3) 


2 3 
= 1 2 
-1 1 
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此 例 的 目的 是 计算 投影 算 子 及 正 交 补 投影 算 子 , 并 利用 它 说 明正 交 性 原理 。 
对 实数 据 , 式 (8.51) 可 重 写 为 


相应 的 正 交 补 投影 算 子 为 


于 是 ,期 望 数据 向 量 的 估计 以 及 估计 误差 向 量 分 别 为 
d = Pd 


图 8.4 给 出 了 上 述 例题 中 向 量 4 及 eu 的 三 维 几 何 表示 。 图 中 明确 地 表示 出 两 个 向 量 之 
间 的 正 交 关系 ( 即 垂直 的 ) ,这 一 结论 与 正 交 性 原理 的 推论 相 一 致 (因此 习惯 上 称 为 正则 方程 )。 
该 条 件 是 如 下 情况 的 几何 描述 :在 线性 最 小 二 乘 滤波 器 中 ,内 积 ed 为 零 。 图 中 还 将 期 望 数 
据 向 量 d 表示 成 估计 向 量 d 和 误差 向 量 eu 的 和 。 可 以 发 现 ,向 量 与 空间 span(A) 也 是 正 交 
的 ,空间 span(A) 定 义 为 数据 矩阵 A 中 列 向 量 所 有 线性 组 合 的 集合 。 估计 向 量 和 只 是 空间 
span(A) 中 的 一 个 向 量 。 


8.7.2 惟一 性 定理 


使 误差 平方 和 %(n) 最 小 的 线性 最 小 二 乘 问题 ,其 解 总 是 存在 的 。 也 就 是 说 ,对 于 给 定 的 数 
据 和 矩阵 A 和 期 望 数据 向 量 G, 我 们 总 可 以 找到 符合 正则 方程 的 向 量 w。 因 此 ,了 解 符合 该 条 件 的 
解 是 否 惟一 、 何 时 惟一 就 显得 很 重要 了 。 如 下 惟一 性 定理 (Stewart,1973) 回 答 了 这 一 问题 : 


当 且 仅 当 数据 矩阵 A 的 零 维 数 等 于 0 时 ,最 小 二 乘 估计 四 是 惟一 的 。 
BERRE A 由 式 (8.44) 定 义 , 且 为 尺 x MEH K-N-M+1, BERANE 
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空间 [用 N(A) 表 示 ] 定 义 为 使 Ax =0 的 所 有 向 量 x 构 成 的 空间 ,将 矩阵 A 的 零 维 数 [用 null (A) 
表示 ] 定 义 为 零 空间 N(A) 的 维 数 。 在 一 般 情况 下 ,有 
null(A) # null(A*) 


i= 3 坐标 





i= 4 坐标 
图 8.4 例 1 中 的 向 量 da. 和 ee, 的 三 维 几何 表示 


根据 惟一 性 定理 ,很 容易 得 出 ,只 有 当 数 据 矩 阵 A 的 列 向 量 线性 无 关 , 亦 即 数据 矩阵 A 满 
列 秩 时 ,线性 最 小 二 乘 问题 有 惟一 解 。 这 就 意味 着 ,和 矩阵 A 的 行 数 至 少 应 与 列 数 一 样 , 即 
N -M+1>M。 后 一 个 条 件 表明 ,用 于 最 小 化 问题 的 方程 组 A = d 是 超 定 的 ,其 中 方程 的 个 
数 多 于 未 知 数 的 个 数 。 因 此 ,如 果 数 据 和 矩阵 A 是 满 列 秩 的 , 则 M x MRE APA 是 非 奇 异 的 ， 
最 小 二 乘 佑 计 具 有 惟一 解 ,如 式 (8.48) 所 示 。 

然而 , 当 和 矩阵 A 的 列 向 量 线性 相关 时 ( 即 和 矩阵 是 非 满 秩 阵 ) ,矩阵 A 的 零 维 数 不 是 零 , 而且 
可 以 找到 无 限 多 个 使 误差 的 平方 和 最 小 的 解 。 在 这 种 情况 下 ,线性 最 小 二 乘 问题 就 变 得 很 复 
杂 , 因 为 我 们 又 面临 着 采用 哪 一 个 特 解 这 样 一 个 新 问题 。 我 们 将 这 一 问题 放 在 后 面 的 第 8.14 
节 讨 论 。 在 这 里 ,我 们 假定 数据 矩阵 A 是 列 满 秩 的 ,以 保证 最 小 二 乘 估 计 w 具有 如 式 (8.48) 
给 出 的 惟一 解 。 


8.8 最 小 二 乘 估计 的 特性 


人 们 可 通过 如 下 几 个 特性 ,对 最 小 二 乘法 获得 更 加 清楚 的 认识 。 下 面 在 假定 已 知 数据 矩 
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ME A 的 情况 下 介绍 这 些 特 性 (Miller, 1974; Goodwin & Payne,1977)。 
特性 1 如 果 假 定 测量 误差 过 程 eo( 让 具有 零 均 值 , 则 最 小 二 乘 估计 外 是 无 偏 估 计 。 
根据 图 8.1 所 示 的 多 重 线性 回归 模型 ,并 利用 式 (8.44) 和 式 (8.46) 的 定义 ,可 得 
d = Aw, + £, (8.52) 
其 中 
et = [es(M), eM + 1),.-.,e@(N)] 
将 式 (8.52) 代 人 式 (8.48) ,可 将 最 小 二 乘 估 计 表 示 为 
w = (AFAJ AT Aw, + (AMA) 'A%e, 
= w, + (AMA) Are, 
和 矩阵 乘积 (A”A)-'A” 是 已 知 量 ,因为 数据 矩阵 A 完全 由 一 组 给 定 的 观测 值 wx(1),v(2),...， 
x(V) 确 定 [ 参 见 式 (8.44)]。 因 此 ,如 果 测 量 误差 过 程 e,(i) 或 者 其 等 效 的 误差 向 量 s RAS 
均值 , 则 通过 对 式 (8.53) 两 边 取 期 望 ,我 们 发 现 估计 w 是 无 偏 的 , 即 
E|w] = wo (8.54) 
特性 2 ” 当 测量 误差 过 程 e。( 让 是 零 均 值 \ 方 差 为 o? 的 白 噪声 时 ,最 小 二 乘 估计 四 的 协 方 
差 矩 阵 等 于 O! 
应 用 式 (8.53) 中 的 关系 ,可 以 求 出 最 小 二 乘 估计 w 的 协 方差 矩阵 为 
cov[W] = E[(W — wo)(W — wo)”] 
= E[(A"A) ‘Ae, 67 A(AMA) | (8.55) 
= (AA) A” E[e,e7]A(AZA) | 
由 于 假设 测量 误差 过 程 e,(i) 是 零 均 值 方 差 为 o? 的 白 噪声 , 故 有 
Eleset#| = ol (8.56) 
其 中 工 是 单位 阵 。 因 此 式 (8.55) 变 为 
cov[W] = o°(AMA) 'ATA(AFZA)™ 
_ o(AMA)! (8.57) 
= op 


(8.53) 


于 是 证 明了 特性 2。 

特性 3 当 测 量 误差 过 程 e (让 为 零 均 值 的 白 唆 声 时 ,最 小 二 乘 估 计 色 是 最 佳 线性 无 仿 
估计 。 

考虑 由 下 式 定 义 的 任 一 线性 无 偏 估计 


w= Ba (8.58) 
其 中 B 是 Mx(N -M+1) 和 矩阵 。 将 式 (8.52) 代 入 式 (8.58) ,可 得 . 
w = BAw, + Be, (8.59) 


由 于 假设 误差 向 量 e, 的 均值 为 零 ,与 特性 1 相似 ,可 得 w 的 期 望 值 为 
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E[W] = BAw, 
因为 线性 估计 莹 是 无 偏 的 , 故 要 求 矩 阵 B 满足 如 下 条 件 
BA = 
因此 ,可 将 式 (8.59) 改 写 为 
w =w, + Be, 
于 是 ,多 的 协 方差 矩阵 为 
cov[W] = E[(W — wo)(% — w)”] 
= E[Be,e7 BT | (8.60) 
= o BBY 
这 里 ,我 们 利用 了 式 (8.56)。 它 假设 误差 向 量 gs。 的 各 元 索 互 不 相关 ,和 且 具 有 共同 的 方差 2?, 即 
测量 误差 过 程 e (i) 是 白色 的 。 下 面 ,我 们 依据 矩阵 B 将 新 矩阵 于 定义 为 
w=B- (ANA)'A (8.61) 
现 组 成 矩阵 乘积 WW" ,并 注意 到 BA =I ,有 
ww = [B — (A"AJ'AĦ][B¥ — A(AFA) | 
= BB” — BA(A?A) — (ANA) ANBF + (AFA) 
= BBY 一 (AAA 六 
因为 Ww" 的 对 角 线 元 素 总 是 非 负 的 ,由 这 一 关系 可 得 
o? diag|BBZ] > odiag[(A?AY) | (8.62) 
由 于 o BBY ETRE w 的 协 方差 矩阵 ,如 式 (8.60) 所 示 。 根 据 特 性 2, 0 (AA) :等 于 最 
小 二 乘 估计 的 协 方差 矩阵 。 因 此 , 式 (8.62) 表 明 ,在 线性 无 偏 估计 范围 内 ,在 最 小 二 乘 估计 w 
每 一 个 元 素 都 具有 最 小 方差 的 意义 下 ,最 小 二 乘 估计 w 是 多 重 线性 回归 模型 中 未 知 向 量 w, 
的 最 佳 估计 。 因 此 , 当 模型 所 包含 的 测量 误差 过 程 。 是 均值 为 零 的 白 噪 声 时 , 最 小 二 乘 估计 
w 是 最 佳 线性 无 偏 估计 (BLUE,best linear unbiased estimate) 。 
迄今 为 止 ,我 们 对 测量 误差 过 程 e, (i) 的 统计 分 布 没 做 任何 假设 ,只 是 假定 它 是 均值 为 零 
的 白 噪 声 。 如 果 进 一 步 假定 测量 误差 过 程 e, ( 芭 是 高 斯 分 布 的 , 则 可 获得 线性 最 小 二 乘 估计 
最 优 性 更 有 力 的 结果 ,正如 下 面 所 讨论 的 。 
特性 4 当 测 量 误差 过 程 e, (让 是 均值 为 零 的 高 斯 白 噪声 时 ,最 小 二 来 估计 和 W 达 到 了 无 仿 
估计 的 Cramér-Rao 下 界 。 
用 fs (s, ) 表 示 误 差 向 量 e, 的 联合 概率 密度 函数 ,用 w 表示 多 重 线性 回归 模型 中 未 知 向 量 
w, 的 任 一 无 偏 估计 , 则 w 的 协 方差 矩阵 符合 如 下 不 等 式 
cov[w] 27° (8.63) 
其 中 
cov[W] = E[(W — w,)(W — w,)”] (8.64) 
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HERE J 0 CERF OK (Fisher) fA BES, Ae La PO 
+ fe) (4) ea 


1 = Inf;(e,) (8.66) 
是 对 数 似 然 函数 , 即 gs。 的 联合 概率 密度 的 自然 对 数 。 
因为 测量 误差 e,(n) 是 白色 的 , 故 向 量 6。 中 元 素 互 不 相关 。 另 外 ,e,(n) 是 高 斯 的 , 故 e, 
中 元 素 是 统计 独立 的 。 如 设 e (i) MAAS HEA d 的 复数 , 则 有 ( 见 第 1.11 节 ) 





其 中 


1 LA, 
fe(£o) = gamm | oe SlCr | (8.67) 
因此 ,对 数 似 然 函 数 为 


N | 2 
7 > leo(é)| 
=M (8.68) 


其 中 
F =-(N - M + 1)In(xo7) 


是 一 常量 。 由 式 (8.52) ,得 
£, = d - Aw, 
将 此 关系 式 代 和 人 式 (8.68) ,可 以 用 w, HEL 改写 为 
I= F -4da + -w APd + Sa! Aw, ~ Swi" aw, (8.69) 
Cr o oT [on 


将 实 值 的 对 数 似 然 函 数 1 对 复 值 的 未 知 参数 向 量 w, 求 导 数 ( 与 附录 B 中 的 表示 一 致 ) ,可 得 


al 1T ar 
awe git (d — Aw,) 





(8.70) 


HEL (8.70) LAK (8.65) ,得 到 目前 所 考虑 问题 的 费 希 尔 信息 矩阵 


J= + El A"e, 62 A] 
oO 


1 
= A"Eleoes]A 
(8.71) 


1 
= AMA 
o 


1 
=> 


O RSMAS HR AER D 中 进行 讨论 。 
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注意 到 式 中 第 三 行 应 用 了 式 (8.56) , 即 假设 测量 误差 过 程 e,( 引 是 均值 为 零 .方差 为 o HAM 
声 。 因 此 ,利用 式 (8.63) 可 以 证 明 ,无 偏 估计 痪 的 协 方 差 矩阵 满足 下 列 不 等 式 

cov[ w] > P07! (8.72) 
然而 ,根据 特性 2 TA, O'S FR) SRA w 的 协 方差 矩阵 。 因 而 ,w 获得 了 Cramér-Rao 
下 界 。 此 外 ,利用 特性 1 可 进一步 得 出 , 当 测量 误差 过 程 e, (i) 是 零 均 值 的 高 斯 白 噪声 过 程 时 ， 
最 小 二 乘 估 计 wW 是 最 小 方差 无 偏 估 计 (MVUE minimum-variance unbiased estimate) o 


8.9 MVDR 的 谱 估 计 


在 上 述 最 小 二 乘法 中 ,没有 对 解 施加 任何 限制 。 然 而 ,在 有 些 应 用 中 , 这 种 方法 并 不 令 人 
满意 ,这 时 ,可 采用 约束 最 小 二 乘法 。 例 如 ,在 涉及 空间 信号 处 理 的 自 适 应 波束 形成 中 ,通常 希 
望 使 波束 形成 器 输出 的 方差 (也 就 是 平均 功率 ) 最 小 化 ,同时 在 感 兴趣 的 目标 信号 方向 上 保持 
无 失真 响应 。 在 瞬 态 情况 下 ,相应 的 问题 就 变 为 使 谱 估计 器 的 平均 功率 最 小 ,而 在 某 一 特定 频 
率 上 保持 无 失真 响应 。 在 这 样 的 应 用 中 ,其 解决 方案 称 为 最 小 方差 无 失真 响应 (MVDR, mini- 
mum-variance distortionless response) 估 计 器 。 为 了 和 前 面 的 描述 保持 一 致 ,我 们 将 用 公式 表示 有 瞬 
态 形式 的 MVDR 算法 。 

考虑 如 图 8.5 所 示 的 线性 横向 滤波 器 ,y( 六 表示 滤波 器 的 输出 , 它 是 抽 头 输入 为 u(i)， 
zi-1)， 2 一 MD) 时 滤波 器 的 输出 响应 。 有 具体 来 说 ,我 们 有 


M 
y(i) = Darul —t) (8.73) 
其 中 0 ,al，,...,a。 是 横向 滤波 器 的 系数 。 如 果 采 用 协 方差 方法 对 数据 开 窗 , 则 应 使 输出 能 量 
N 
Sour = > LP 
i=M+1 
最 小 , 且 满 足 约 束 条 件 


M - 
X aje% = 1 (8.74) 
k=0 


其 中 w 是 感 兴趣 的 角 频 率 。 与 经 典 的 最 小 二 乘法 一 样 ,滤波 器 系数 go ,ai ,... s ay 在 观测 间 


Esis N 内 保持 不 变 , V 是 数据 的 总 长 度 。 
u(i) uli — 1) 





y(i) 
图 8.5 横向 滤波 器 
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为 了 求解 约束 最 小 化 问题 ,我 们 应 用 拉 格 朋 日 (Lagrange) 乘 子 法 ;该 最 优化 过 程 将 在 附录 
C 中 讨论 。 具 体 地 ,我 们 定义 约束 代价 函数 


N M 
g= > MOJ + a( D afte 一 1] 
i=M+1 = 
— — 一 
输出 能 量 线性 约束 


其 中 2 是 复数 拉 格 朗 日 乘 子 。 注 意 ,这 里 所 述 的 约束 问题 中 没有 期 望 响应 ,取而代之 的 是 一 
组 线性 约束 条 件 。 同 时 注意 , 没有 期 望 响 应 也 就 没有 参考 机 制 , 正 交 性 因此 失去 了 意义 。 

为 了 得 到 最 优 滤波 髓 系数 ,首先 确定 梯度 向 量 V 名 并 令 其 等 于 零 。 然 后 ,采用 类 似 于 第 
8.3 节 的 方法 ,对 式 (8.75) 表 示 的 约束 代价 函数 ,可 求 出 其 梯度 向 量 的 第 个 分 量 为 


(8.75) 


N 
Vi.€=2 X uli- k)y*(i) + A*e i (8.76) 
i=M+1 


其 次 ,将 式 (8.73) 代 人 式 (8.76) ,并 经 整理 后 得 
V8 = 2Sa, 5 uli — k)u*(i — t) + A*e i 
1=0 i 


=M+1 


M (8.77) 
一 2 > a,h(t, k) + Ate Heo 
t=0 


其 中 ,第 二 行 第 一 项 中 ,我 们 已 对 抽 头 输入 的 时 间 平 均 自 相关 函数 $(1,k) 使 用 了 式 (8.29) 的 
定义 。 为 使 约束 代价 函数 最 小 化 , 令 
VigE=0 k=0,1,...,M (8.78) 


则 从 式 (8.77) 可 以 发 现 ,最 优 横向 滤波 器 的 抽 头 权 值 应 满足 如 下 M + 1 个 联 立 方程 


Sag k) = -Z ate k =0,1,...,M (8.79) 
i=0 
使 用 和 矩阵 表示 ,上述 方程 组 可 改写 为 
Dâ =- 5 A*s(con) (8.80) 


式 中 四 是 抽 头 输入 的 (4M+1)x(M+1l) 时 间 平 均 相 关 和 矩阵 ,和 是 (M+ 1) x 1 BRA 
量 , 且 
s(w) = [1, 0, eraleo] (8.81) 
是 (KM+1l)xi 维 固定 频率 向 量 。 如 漆 假 定 O BIER WEE O' FFA, fh (8.80) 
可 得 最 佳 抽 头 权 向 量 
a=- > A*TPD Is(wo) l 
UE EE HY AL RRR BR 4 的 值 。 为 解 出 1 ,我 们 应 用 式 (8.74) 给 EN 
向 滤波 器 的 线性 约束 条 件 。 为 此 ,将 此 式 改写 为 





AHs(wo) =1 5. 
计算 向 量 % 与 式 (8.82) 中 的 向 量 的 内 积 ,并 令 内 积 等 于 1, 则 可 求 出 4 RRE GE) 


322 自 适 应 滤波 器 原理 


s 2 
=~ o)b slo) (8.84) 
最 后 ,将 上 述 4 ERAR (8.82) , BIZ MVDR 解 为 
a B's(wo) 





T Mob so) (8.85) 


于 是 ,如 果 已 知 抽 头 输入 的 时 间 平 均 相 关 和 矩阵 © 和 频率 向 量 s( wo ) ,我 们 可 用 式 (8.85) 给 出 的 
MVDR 公式 计算 图 8.5 中 横向 滤波 器 的 最 优 抽 头 权 向 量 &。 
用 Swna(owo) 表 示 输 出 能 量 gu 的 最 小 值 , 它 是 输出 响应 调谐 在 角 频 率 we 条 件 下 把 式 
(8.85) 的 MVDR 解 生 用 做 抽 头 权 向 量 时 所 得 到 的 结果 。 于 是 有 
SwvpR(oo) = â PA (8.86) 
将 式 (8.85) 代 和 信 上 式 (8.86) ,化 简 后 最 终 得 到 
1 


SwvbR(wo) = HoD so) (8.87) 
式 (8.87) 可 写成 更 一 般 的 形式 。 如 定义 一 个 频率 扫描 向 量 
s(w) = [l,e™,... ,eyou] -TLIU (8.88) 


式 中 角 频 率 w 是 区 间 ( - r,z] 内 的 变量 , 则 对 每 一 个 w, MVDR 佑 值 可 作为 相应 的 横向 滤波 器 
的 抽 头 权 向 量 。 于 是 ,最 优 滤波 器 的 输出 能 量 成 为 w 的 函数 。 相 应 地 , 设 Sywor (wo) BRIT 
函数 关系 , 则 可 写 出 2 
1 

Fod slo) (8.89) 
我 们 将 式 (8.89) 称 为 MVDR 谱 估计 ,将 式 (8.85) 给 出 的 解 叫 做 w = w 时 抽 头 权 向 量 的 MVDR 
估计 。 注 意 , 对 任意 的 o, 其 他 频率 的 信号 功率 都 被 最 小 化 。 因 此 ,根据 式 (8.89) 得 出 的 
MVDR 谱 呈 现 相 对 陡峭 的 峰值 。 


Suvpr(@) = 


8.10 MVDR 波束 形成 的 正则 化 


式 (8.85) 的 MVDR 公式 也 为 雷达 、 声 纳 、 无 线 通信 方面 的 自 适应 波束 的 形成 提供 了 基础 。 
促使 这 一 方法 得 到 应 用 的 原因 主要 有 以 下 两 方面 : 


© 快速 收敛 性 。 

© 对 存在 大 量 干扰 源 的 复杂 干扰 环境 的 处 理 能 力 。 

考虑 图 8.6 所 示 由 具有 M 个 天 线 单元 的 线性 阵列 组 成 的 自 适应 波束 形成 器 。 设 s(0) 表 
示 感 兴趣 的 观测 方向 (该 方向 用 电气 角度 6 表示 , 且 - r/2 < 0 三 x/2) 上 指定 的 波束 转向 向 量 
(beam-steering vector) , 即 天 线 阵 元 中 每 个 单元 的 线性 相 移 向 量 。 角 度 6 与 相对 于 阵列 法 线 测 


@ 用 式 (8.89) 计 算 谱 的 方法 在 文献 中 又 称 做 Capon 方法 (Capon,1969)。“ 最 小 方差 无 失真 响应 ”这 一 说 法 来 自 Owsley 
(1984). 
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得 的 实际 到 达 方 向 p 有 关 , 可 表示 为 
2nd 
= ow P (8.90) 
AP d 是 阵列 中 相 邻 单元 之 间 的 间隔 ,4 是 人 射电 磁 波 的 波长 (参见 “背景 与 预览 "中 图 13). 
针对 现 有 问题 ,对 式 (8.85) 做 适当 的 调整 ,可 以 将 波束 形成 器 权 向 量 的 MVDR 解 表示 为 
@"'s(6) 
si(0)d 1s(0) 
这 很 容易 用 批 ( 块 ) 处 理 来 实现 。 因 此 ,如 果 假定 已 知 一 批 输入 数据 iu(n)}*, ,其 中 个 输入 
的 每 一 项 都 叫做 环境 的 一 个 “快照 (snapshot)”。 给 定 这 样 的 数据 块 ,可 用 以 下 公式 来 计算 时 间 
平均 相关 和 矩阵 © 


0 


w= 


(8.91) 


K 
= >, u(n)u” (n) (8.92) 


将 其 代入 式 (8.91) ,可 得 权 向 量 w 的 相应 值 。 为 了 适应 环境 统计 特性 的 变化 ,必须 对 每 个 快照 
块 重复 进行 整个 “估计 和 插入 ”过 程 。 正 如 本 章 引 言 中 所 指出 的 ,虽然 批 处 理 方 法 的 运算 量 比 
递归 最 小 二 乘法 要 大 ,但 随 着 计算 机 技术 的 不 断 进 步 ,计算 复杂 性 已 不 再 是 需要 实际 关心 的 主 
要 问题 。 





s(0) 6 


图 8.6 由 线性 天 线 元 阵列 构成 的 MVDR 波束 形成 器 
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8.10.1 正则 化 
式 (8.85) 的 MVDR 权 向 量 w E AS (14 T E Cill-posed inverse estimation problem) 的 解 : 


© 该 问题 是 一 个 逆 问 题 , 因 为 从 输入 数据 到 加 权 向 量 实际 上 是 以 与 产生 这 些 数据 的 物理 
过 程 相 反 的 方向 进行 的 。 
e 该 问题 是 病态 的 ,主要 是 由 于 : (1) 输 入 数据 不 充分 ;(2) 存 在 噪声 和 干扰 信号 。 这 两 个 
因素 导致 解 的 不 惟一 性 。 
因此 ,使 用 式 (8.91) 将 会 导致 一 个 具有 较 大 旁 狼 的 天 线 模式 ( 即 相 对 于 观测 方向 的 波束 形成 器 
功率 响应 的 曲线 ) ,而 较 大 的 旁 瘀 是 不 允许 的 。 另 外 ,在 相 邻 数据 块 之 间 可 能 会 引起 来 自 下 一 
个 快照 块 的 天 线 模 式 随机 波动 ,这 将 对 紧 接 着 的 信号 处 理 产 生 破坏 性 的 影响 。 

为 了 减轻 估计 器 (例如 , 自 适应 波束 形成 器 ) 的 病态 影响 ,需要 通过 正则 化 (Tikhonov, 1963, 
1973) 来 稳定 解 。 其 基本 原理 是 ,利用 与 结构 有 关 的 正则 化 分 量 来 增强 通常 与 数据 有 关 的 代价 
函数 ,其 目的 就 是 对 估计 器 建立 的 输入 输出 映射 强加 一 个 平滑 约束 ,从 而 使 解 稳定 。 因 此 ,下 
则 化 估计 器 的 代价 函数 为 

(正则 化 代价 函数 ) = (数据 相关 的 代价 函数 ) + (正则 化 参数 ). (结构 相关 的 正则 化 项 ) 

(8.93) 

从 某 种 意义 上 讲 , 可 以 将 正则 化 参数 看 做 规定 该 解 时 输入 数据 是 否 充分 的 一 个 指示 器 。 
特别 地 , 当 正则 化 参数 接近 零 时 , 解 完 全 由 输入 数据 决定 。 另 一 方面 , 当 正则 化 参数 接近 无 穷 
时 ,通过 正则 化 所 加 的 平滑 约束 足以 规定 这 个 解 , 它 是 输入 数据 不 可 靠 时 另外 一 种 解决 方法 。 
实际 上 ,正则 化 参数 的 值 一 般 介 于 这 两 种 极端 情况 之 间 。 


8.10.2 具有 可 控 旁 办 的 正则 化 自 适应 波束 形成 器 


对 于 MVDR 波束 形成 ,我 们 用 如 下 目标 来 介绍 正则 化 设计 的 一 种 改进 形式 (Hughes & Me- 
Whirter, 1995; McWhirter et al. , 2000): 


目标 ”防止 对 应 于 MVDR 解 的 空间 响应 不 必要 地 背离 静态 响应 ,这 一 点 在 环境 特性 已 知 
的 非 自 适应 波束 形成 器 中 已 得 到 详细 说 明 。 


这 一 目标 的 满足 ,将 以 有 意义 的 方式 影响 去 除 最 小 二 乘 解 中 不 必要 的 自由 度 。 特 别 地 ,我 
们 现在 可 用 图 8.6 所 示 的 方式 将 正则 化 MVDR 波束 形成 器 设计 问题 表示 如 下 : 


确定 最 优 加 权 因 子 w, 使 得 在 如 下 约束 条 件 下 

wis(0) = 1 s(0) = 波束 转向 向 量 
使 波束 形成 器 输出 能 量 

> |wu(n)/? 对 于 K 个 快照 的 块 


最 小 ,而 且 要 求 旁 因 按照 上 述 目标 是 可 控 的 。 
在 线性 阵列 的 情况 下 ,上 述 两 项 目标 可 通过 下 面 的 正则 化 (McWhirter et al. ,2000) 
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z/2 
( 正则 化 分 量 ) = [E KO — w,)"s(8)|'do (8.94) 


= (w - w,) Z(w 一 wa) 


来 实现 , 式 中 w, 是 静态 权 向 量 且 


T 


n/2 
z= f h(6)s(0)s#(6)dée (8.95) 
—n/2 


是 一 个 Mx MER, by ee h(9) 用 来 对 波束 形成 器 的 观测 范围 加 一 个 非 负 的 权 。 于 是 ， 
根据 式 (8.93), 可 将 式 (8.94) 的 正则 分 量 与 MVDR 问题 的 约束 代价 函数 合并 , 则 有 
K 
Ereg(W) = 之 |w%u(n)) + A(w4s(6) — 1) + 6(w 一 w) Z(w 一 w) (8.96) 
AP A 是 拉 格 朗 日 乘 子 ,$ 是 正则 化 参数 。 将 代价 函数 ge(w) 对 权 向 量 w 求 导 , 并 令 其 等 于 
零 , 即 得 最 优 权 向 量 w 为 


w= (P+ aZ) ( sam, 一 Zasto) ) (8.97) 
AF O EAA(8.92) EKK TE 4 PER (8.97) ARE 
Was(9) = 1 


并 对 拉 格 朗 日 乘 子 求解 ,得 
1 _ 1 — dw? Z(@ + êZ)'s(0) 
2 s"(@)(® + 6Z)'s(@) 
此 处 ,我 们 利用 了 M x M 增 广 相 关 和 矩阵 D+ OZ 的 埃 尔 米 特性 质 。 最 后 ,将 式 (8.98) 代 入 式 
(8.97) , 则 得 如 下 正则 化 MVDR 解 
. (®© + 5Z)'s(6) i 
Y= sa(0)(® + szy ia) | OCP + OA) Zw 
SwHZ(® + 5Z)'s(8)(® + 8Z)1s(0) 
s"(0)(®B + 5Z)'s(@) 


(8.98) 





(8.99) 





对 式 (8.99) 要 注意 以 下 几 点 : 


e 在 6=0 的 极端 情况 下 (也 就 是 没有 正则 化 ), 式 (8.99) 退 化 为 非 正 则 化 的 MVDR f 
D1s(0)/s (0)D-'s(0)。 
© 尽管 式 (8.99) 形 式 复杂 ,但 在 实际 实现 中 ,这 种 正则 化 解 的 运算 量 远 远 低 于 基于 奇异 值 
分 解 的 子 空间 投影 算法 (McWhirter et al. ,2000) (奇异 值 分 解 将 在 下 一 节 讨 论 )。 
图 8.7 给 出 了 功率 响应 与 信号 实际 到 达 方 向 9 之 间 的 关系 曲线 ,该 曲线 显示 出 基于 式 
(8,99) 的 正则 化 MVDR 波束 形成 器 的 卓越 性 能 。 这 里 给 出 的 结果 来 自 McWhirter 4 (2000) ,其 
实验 参数 为 : 


© 具有 均匀 半 波 长 间隔 的 16 单元 线性 阵列 
o 观测 方向 p=0 
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© 从 一 个 天 线 单元 到 下 一 个 天 线 单元 空间 不 相关 的 加 性 高 斯 白 噪声 
© 0 =45° 的 单一 干扰 器 ,相对 于 阵列 中 每 一 天 线 单 元 的 发 射 功 率 为 30 dB 
© 计算 中 的 快照 数 K = 32 
© 加 权 函 数 为 
cos ”对 于 9 > 0° 
h(0) = | 0 对 于 9 < 0* 
当 9 > 0° 时 ,使 用 该 加 权 函 数 可 使 天 线 模式 接近 于 固定 的 切 比 雪夫 模式 (Chebyshev pat- 
tem) ,其 旁 关 在 -30 dB 左右 。 当 9 < 0° 时 ,天 线 模 式 是 非 正则 化 的 ,与 观测 区 域内 没有 
干扰 存在 一 样 。 
o 静态 加 权 向 量 w, 由 Dolph-Chebyshev 天 线 模式 确定 (Dolph, 1946)。 
e 正则 化 参数 8 = 30K = 960 


ANY/ 


Jkt 


功率 响应 (dB) 





用 度 表 示 的 角度 9 
图 8.7 正则 化 MVDR 波束 形成 器 的 旁 准 稳 定性 ,其 中 实 线 表示 静态 波束 模式 


从 图 中 可 以 看 出 , 当 o> OOF ,使 用 正则 化 将 对 观测 区 域 的 天 线 模 式 产生 很 大 影响 。 特 别 
是 , 当 输 入 数据 从 一 个 块 到 下 一 个 块 时 ,加 权 向 量 的 波动 显著 减少 了 。 同 时 , 旁 瓣 被 控制 在 接 
近 Dolph-Chebyshev 数量 级 内 。 但 相同 取 值 时 ,对 于 o < 0? 所 表示 的 非 正则 化 观测 区 域 ,天 线 模 
式 有 明显 的 波动 ,而 且 旁 多 性 能 较 差 。 另 外 ,在 p = 0 这 一 指定 的 观测 方向 上 ,正则 化 的 波束 
形成 器 仍 能 产生 0 dB 的 响应 ,而 在 p =45° 的 干扰 方向 上 响应 为 零 。 


8.11 FRADE 


现在 ,我 们 通过 介绍 所 谓 奇 异 值 分 解 (singular-value decomposition) 的 计算 工具 来 完成 对 最 
小 二 乘法 的 讨论 。 这 一 工具 的 优势 在 于 它 适 用 于 方 阵 以 及 矩形 阵 , 而 不 管 它们 是 实数 还 是 复 
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数 。 因 此 ,在 奇异 值 分 解 可 直接 应 用 于 数据 矩阵 这 个 意义 上 , 它 非 常 适合 于 求 线性 最 小 二 乘 问 
题 的 数值 解 。 
在 第 8.5 节 和 第 8.7 节 ,我 们 介绍 了 下 列 两 种 形式 的 计算 线性 最 小 二 乘 解 的 正则 方程 : 


1) 式 (8.36) 给 出 的 形式 , 即 
w = O'z 
式 中 w 是 多 重 回归 模型 未 知 参数 向 量 的 最 小 二 乘 估计 ,@ 是 用 来 完成 估计 的 横向 滤波 
器 抽 头 输入 的 时 间 平 均 相 关 短 阵 ,z 是 抽 头 输入 和 回归 模型 输出 (也 就 是 期 望 响应 ) 之 
间 的 时 间 平 均 互 相关 向 量 。 
2) 直接 用 数据 矩阵 表示 的 式 (8.48) , 即 
w = (AMA)'A"d 
式 中 A BER , KIR SBA [EAE TB a, d 是 期 望 数据 向 量 , 表 示 期 望 响 应 
的 时 间 评 估 。 
这 两 种 形式 在 数学 上 是 等 效 的 ,但 是 它们 却 代表 了 求 最 小 二 乘 w 解 的 不 同 计算 方法 。 式 (8.36) 
BORO AY EPPS ©, ESF A" 和 A 的 乘积 。 另 一 方面 , 在 式 (8.48) 中 ,根据 数据 矩 
阵 A 的 奇异 值 分 解 ,(A”A)-'A 能够 这 样 来 理解 :在 相同 数字 精度 的 情况 下 ,由 式 (8.48) 计 算得 
到 的 解 w 的 正确 数字 位 数 两 倍 于 式 (8.36) 计 算得 到 的 解 。 具 体 来 说 ,如 果 定 义 矩 阵 
At = (AMA)'AY (8.100) 
则 式 (8.36) 可 简单 地 重 写 为 
w= Aid (8.101) 
HERE AY 称 为 矩阵 A BY fyi BK Moore-Penrose J Cid (Stewart, 1973; Golub & Van Loan, 1996). E 
式 表示 了 一 种 简便 的 说 法 , 即 “ 向 量 w 是 线性 最 小 二 乘 问题 的 解 "。 事 实 上 , 它 仅 仅 是 我 们 已 
熟悉 的 方程 的 简单 形式 ,而 且 也 是 人 们 所 希望 的 .与 第 8.5 节 所 用 时 间 平 均 相 关 和 矩阵 © 和 互 
相关 向 量 z 的 定义 相 一 致 ,以 致 于 我 们 可 根据 式 (8.44) 和 式 (8.46) 来 定义 数据 和 矩阵 A 和 期 望 
数据 向 量 d。 
实际 应 用 中 我 们 经 常 发 现 , 数 据 和 矩阵 A 含有 线性 相关 的 列 向 量 。 因 此 ,我 们 又 面临 一 个 
新 的 情况 , 即 在 无 穷 多 个 可 能 的 解 中 判别 哪 一 个 解 作为 最 小 二 乘 问题 的 解 。 这 个 问题 可 通过 
采用 第 8.14 节 介 绍 的 奇异 值 分 解 技术 来 解决 ,即使 当 nul(A) 关 乡 时 亦 可 ,其 中 8 表示 空 集 。 


8.11.1 奇异 值 分 解 定 理 


矩阵 的 奇异 值 分 解 (SVD,singular-value decomposition) 是 数值 代数 中 提供 线性 方程 组 结构 信 
息 方 面 最 精巧 的 算法 之 一 (Klema & Laub,1980)。 我 们 所 特别 感 兴趣 的 线性 方程 组 可 描述 为 
AW=d (8.102) 
sth AE Kx MG ,d 是 x1 向量,w( 表 示 未 知 参 数 向 量 的 估计 ) 是 M x1 向 量 。 式 
(8.102) 表 示 和 矩阵 形式 的 正则 方程 。 如 果 等 式 的 两 边 前 乘 向 量 A* , 则 得 到 最 小 二 乘 权 向 量 w 
的 正则 方程 。 
给 定数 据 和 矩阵 A, 则 存在 两 个 本 矩阵 V 和 ,使 得 
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Hay F | 
UAV F 0 (8.103) 


其 中 

X = diag(oloz, ,oaw) (8.104) 
是 一 对 角 阵 。c 满足 ci > cz> .>>ow>0。 式 (8.103) 是 奇异 值 分 解 定理 的 数学 表述 ,并 以 其 
创始 人 的 名 字 命 名 为 Autonne-Eckart-Young 定理 人。 

图 8.8 给 出 了 式 (8.103) 所 述 的 奇异 值 分 解 定理 的 一 种 图 示 。 该 图 中 ,我 们 已 经 假定 数据 
矩阵 A 所 包含 的 行 数 大 于 列 数 他, 且 非 零 奇异 值 的 数目 WFM. BR ,我们 也 可 以 用 酉 
和 矩阵 V 和 T 以 及 对 角 阵 之 来 表示 数据 矩阵 ,从 而 可 给 出 奇异 值 分 解 定理 的 另 一 种 图 示 。 这 个 
问题 留 给 读者 作为 练习 。 


数据 矩阵 酉 矩阵 对 角 阵 FERF 


| “|||: 
— Ld ee 


0O: 零 矩阵 
图 8.8 奇异 值 分 解 定理 的 一 种 图 示 


式 (8.104) 中 的 下 标 W RARER A 的 秩 , 记 为 rank(A), 它 定义 为 A 中 线性 无 关 的 列 数 。 
注意 ,总 是 有 rank(A”) = rank(A)。 因 为 K> M 或 K<M 痢 是 可 能 的 ,所 以 需要 考虑 两 种 不 同 
的 情况 。 我 们 将 对 这 两 种 情况 独立 地 证 明 奇 异 值 分 解 定 理 。 当 K> M 时 ,我 们 有 一 个 超 定 方 
程 组 ,此 时 方程 的 数目 大 于 未 知 数 的 数目 ;而 当天 < M 时 ,我 们 有 一 个 欠 定 方程 组 ,此 时 方程 
的 数目 小 于 未 知 数 的 数目 。 下 面 ,我 们 将 依次 讨论 这 两 种 情况 。 

情况 1: 超 定 方程 组 对 KK> MM 的 情况 ,用 和 矩阵 A RAKES BRT A” ,得 到 
M x MJER A*A。 由 于 和 矩阵 A” A 是 埃 尔 米 特 阵 和 非 负 定 阵 , 其 特征 值 全 是 非 负 实数 。 将 这 些 特 
征 值 表 示 为 07%, 03,...,04 HF 6, eo. eS... loy > 0 E or, 07.25... 全 为 零 ,1< WM. 
由 于 和 矩阵 A”A 和 A 有 相同 的 秩 , 因 此 A”A 有 WAER., E v, vs... Vu 分 别 表 示 
矩阵 A” A 对 应 于 特征 值 ci ,02,...,0% 的 正 交 化 特征 向 量 ,V 表示 M x M 酉 矩阵 ,其 列 由 特 
征 向 量 vi, vs... ,vn 组 成 。 接 着 ,通过 矩阵 AA 的 特征 分 解 , 可 以 写 出 





x“ 0 
HAH = 
V“A"AV È 0 | (8.105) 


@ 根据 DeMoor 和 Golub(1996) ,奇异 值 分 解 的 一 般 形式 由 Autonne 于 1902 年 提出 ,Eckart 和 Young(1936) 介 绍 了 它 的 一 
个 重要 特性 。 关 于 奇异 值 分 解 的 发 展 过 程 ,可 参见 Kema 和 Laub(1980) 的 文章 。 
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将 西 和 矩阵 V 分 块 为 

v = [Vi, V2] 
其 中 

Vi = [vi, Vv,... Yy] 
是 一 个 Mx W 46%, H 
V2 = [Vw vw+2 petty vu] 
是 一 个 Mx (M - WEE, H 
viv, =0 


FHZR (8.105) ,可 以 得 到 如 下 两 个 推论 : 
Vi AM AV, = X? 
故 
S'VIAMAV S! =I 
2) 对 于 和 矩阵 V, ,有 


VANAAV = 0 
故 
AV, =10 
现在 ,我 们 定义 一 个 新 的 天 x WBE 
U, = AV, 
则 根据 式 (8.110) 可 得 出 
UFU, =I 


(8.110) 


(8.111) 


(8.112) 


(8.113) 


RRR U 的 列 是 彼此 正 交 的 。 其 次 ,我 们 选择 另 一 个 天 x (K - WER U JF U, 


Al U, HR K x KERE, RI 
U= [Ui, U,| 


这 是 一 个 西 矩 阵 。 它 意味 着 
UFU,=0 


因此 ,利用 式 (8.106) 、 式 (8.114) 、 式 (8,111)、 式 (8.112) 和 式 (8.115), 可 以 得 到 


H Uf 
UFAV =| y |A[V, V2] 
Us 


_ TUufAV U#AV, 
UFAV, UAV, 


_ [eee Ut (0) 
7 UŽ(U X) UŽ (0) 


[8] 


(8.114) 


(8.115) 
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这 就 证 明了 超 定 情况 下 的 式 (8.103)。 

情况 2: 欠 定 方程 组 FE, ZR K< M 的 情况 。 这 时 用 和 矩阵 A 的 埃 尔 米 特 转 置 矩阵 A” 
前 乘 和 矩阵 A, 得 到 开 x 天 矩阵 AA"。 它 也 是 埃 尔 米 特 阵 和 非 负 定 阵 ,因此 其 特征 值 也 同样 是 非 
负 实 数 。AA” 的 非 零 特征 值 与 A“A 的 相同 。 由 此 ,可 以 将 AA” 的 特征 值 表示 为 ci ,co ,...， 
ox FP oo, 20.2... 207>08 orr... 全 为 零 ,1< 玉 <K。 Mu,w,...,0 分 别 表 
示 和 矩阵 AA” XT AEF RMIE( of 03,...,0; 的 正 交 化 特征 向 量 ,U 表示 本 矩阵 ,其 列 由 特征 向 量 
um,...，ax 组 成 。 于 是 ,通过 和 矩阵 AA” 的 特征 分 解 ,可 以 写 出 


UZAAZU = i o (8.116) 
将 酉 矩阵 UDHA 
U = [U,, U] (8.117) 
其 中 
U, = [u,, uy,..., uy] (8.118) 
U, = [Uwar, uw+2,..., Ux] (8.119) 
A 
UU, = 0 (8.120) 
由 式 (8.116) ,可 以 得 到 如 下 两 个 推论 : 
1) 对 于 和 矩阵 U ,有 
UÏ AAU] = X? 
故 


3ZTIUP7AANAUIEL = 1 (8.121) 


2) 对 于 矩阵 U ,有 
UÏ AAFU, = 0 


故 
AU, = 0 (8.122) 
现在 ,我 们 定义 一 个 M x WEE 
Vi = AU 7 (8.123) 
由 式 (8.121) 可 得 
Viv, =I (8.124) 


这 就 意味 着 矩阵 V 的 列 是 彼此 正 交 的 。 接 着 ,我 们 选择 另 一 个 及 x (M - WER VV, ,并 由 V, 
和 V, 组 成 Mx M $e, Bl 
v = [V, V] (8.125) 
RET HeH. CERE 
Viv, =0 (8.126) 
因此 ,利用 式 (8.117)、 式 (8.125)、 式 (8.122) 、 式 (8.123) 和 式 (8.126) ,可 以 得 到 
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H UF 
UAV = ul A[V,. V2] 
2 
_ | UPAV, UAV, 
~ | UFAV, UAV, . 
_ | via) avow | 
(0)V, (0)V, 


7 È J 
~ [on 
这 就 证 明了 欠 定 情况 下 的 式 (8.103)。 至 此 ,完成 了 奇异 值 分 解 定 理 的 证 明 。 
8.11.2 术语 及 与 特征 分 解 的 关系 
组 成 对 角 阵 袜 的 o1 ,0o,,... ,ow 称 为 矩阵 A 的 奇异 值 , 西 矩 阵 V 的 列 向 量 ( 即 vv，,...， Vu) 
称 为 A BATRE, B AAE URIE a,m, qx) 叫做 A 的 左 奇 异 向 量 。 从 


前 面 的 讨论 注意 到 , 右 奇 异 向 量 mw,m,..…，vw 是 A”A 的 特征 向 量 ,而 左 奇异 向 量 ,Ww，,...， 
ux 是 AA” 的 特征 向 量 。 并 且 , 正 奇异 值 的 个 数 等 于 数据 矩阵 A 的 秩 。 因 此 ,奇异 值 分 解 为 确 


定 矩 阵 的 秩 提供 了 基础 。 
由 于 UU” 为 单位 阵 , 故 由 式 (8.103) 可 得 
X 0 
AV = uf} | 
因此 
Avy; = oA} i=1,2,...,W 
和 
Avy, = 0 i=~W+1,...,K (8.127) 
相应 地 ,可 以 将 数据 矩阵 A 用 展开 形式 表示 为 
WwW 
A= $ omv” (8.128) 
i=1 


由 于 VV” 为 单位 阵 , 故 由 式 (8.103) 可 得 


或 者 等 效 地 ,有 
5 0 
AFU = v| 3 | 
有 此 可 得 出 
A = ov, i= 1,2 W 
和 Aau = 0 i=W++1,...,M (8.129) 


在 这 种 情况 下 ,我 们 可 以 将 数据 矩阵 A 的 埃 尔 米 特 转 置 用 展开 形式 表示 为 


Ww 
A” = $ oaf (8.130) 
i=l 


332 自 适 应 滤波 器 原理 


这 与 式 (8.128) 完 全 相符 。 


例 2 
在 这 个 例子 中 ,我 们 应 用 SVD 来 处 理 和 矩阵 秩 的 不 同方 面 。A 表示 一 个 秩 为 WAK MA 
HEEE, to RK 
W = min(K, M) 
MA 是 满 秩 的 。 否 则 就 说 A 是 降 秩 的 (rank deficient), -E4 Hf & PTs 2) 05, ROW ES 
E A 非 零 奇异 值 的 个 数 。 
下 面 考 虑 一 个 计算 环境 ,计算 产生 的 甜 阵 A 的 每 一 个 元 素 的 数值 精度 在 +e 范围 内 。 

ASE BR TEE A 的 这 种 近似 阵 ,并 定义 矩阵 A 的 es 秩 (Golub & Van Loan,1996) 为 

rank(A,e) = min. rank(B) (8.131) 
HYP || A-B|l ARAMA HS + RZ A -B 的 谱 范 数 (spectral norm). HARE 
BABE TCA ELIS IRER ARMARE EA A-B] 等 于 差 矩 阵 
A-B 的 最 大 奇异 值 。 在 任何 情况 下 ,如 果 

rank (A, £) < min(K, M) 
RHL K x MEE A 在 数值 上 是 降 秩 的 。SVD ARMEE e 秩 与 数值 降 秩 提供 了 一 种 
切合 实际 的 方法 ,因为 由 其 应 用 得 出 的 奇异 值 以 一 种 简单 的 方式 指出 如 何 使 一 个 给 定 矩 
阵 A 接近 于 另 一 较 低 秩 的 算 阵 B。 


8.12 fAw 


我 们 对 SVD 的 兴趣 是 用 公式 表示 出 伪 逆 的 一 般 定义 。 用 A 表示 一 个 Kx MM 矩阵 ,其 SVD 
如 式 (8.103) 所 示 。 将 数据 矩阵 A WHN (Stewart, 1973; Golub & Van Loan,1996) 定 义 为 
+») zt 0 | 
At = "| 0 o Jur (8.132) 
式 中 
X! = diag(oT!, o7',..., oF 


W EARR, tht At 也 可 以 用 展开 形式 表示 为 
Ww 
At = > L yut (8.133) 
下 面 ,我 们 就 可 能 出 现 的 两 种 情况 进行 讨论 。 
情况 1: 超 定 方程 组 ”这 种 情况 下 ,K > M ,我 们 假定 秩 W 等 于 1 ,这 时 道 矩阵 (A“A) FF 
在 。 数 据 和 矩阵 A 的 伪 逆 定义 为 
At = (AHA) A (8.134) 
为 证 明 此 式 有 效 , 由 式 (8.110) 和 式 (8.112) 分 别 得 到 
(AMA)! = VB?2Vf 
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和 
A = V xu! 
应 用 这 对 关系 式 ,可 将 式 (8.134) 的 右边 表示 为 
(AZ AYA? = (V £? VY V EU 
=V,> Uf 


情况 2: 欠 定 方 程 组 ”第 二 种 情况 下 , M > K。 我 们 假定 秩 W 等 于 ,这 时 道 和 矩阵 (AA”)-! 
存在 。 数 据 和 矩阵 A 的 伪 逆 现在 定义 为 
At = ANAAD (8.135) 
为 证 明 此 式 有 效 , 由 式 (8.121) 和 式 (8.123) 分 别 得 到 
(AAA = U1?UF 
和 
A” = VIEUF 
应 用 这 对 关系 式 ,可 将 式 (8.135) 的 右边 表示 为 
AR(AAD = (ViEU 们 (DZ 2U 们 


注意 , 式 (8.132) 或 式 (8.133) 所 表示 的 伪 逆 A 的 应 用 是 很 广 的 , 它 不 用 考虑 数据 矩阵 A 
对 应 的 是 超 定 方程 组 还 是 欠 定 方程 组 ,也 不 在 平 秩 多 等 于 多 少 。 更 重要 的 是 它 在 数值 上 是 稳 
定 的 。 


8.13 奇异 值 和 奇异 向 量 的 解释 


考虑 一 个 Kx M 数据 矩阵 A, 其 SVD 由 式 (8.103) 给 出 ,相应 的 伪 逆 由 式 (8.132) 给 出 。 我 
们 假定 方程 组 是 超 定 的 ,并 定义 一 个 Kx1 向 量 y 和 一 个 Mx 1 向 量 x, 它 们 之 间 的 关系 用 变 
MEE A 表示 为 
y = Ax (8.136) 
限制 向 量 x 的 欧 氏 范 数 为 单位 长 度 , 即 
ix] = 1 (8.137) 
给 定式 (8.136) 的 变换 和 式 (8.137) 的 约束 条 件 ,我 们 希望 在 玉 维 空间 里 找到 由 向 量 y 定义 的 
点 所 形成 的 轨迹 。 
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由 式 (8.136) 解 x, 得 





x= A'y (8.138) 
SRP A'E A 的 伪 逆 。 将 式 (8.133) 代 入 上 式 , 得 
wW 1 H 
x= Z vil y 
i=1 Ii 
(8.139) 
_ X (ufy) 
7 2 Oi Y: 


式 中 W EER A 的 秩 , 内 积 ufy 是 一 个 标量 。 将 式 (8.137) 的 约束 条 件 用 于 上 式 , 注 意 到 右 奇 
异 向 量 v, v... Vy 形成 一 个 正 交 系 ,于 是 得 到 
W yu) 
i=t o? 7 
式 (8.140) 定 义 了 向 量 y 在 KK 维 空间 上 描绘 出 的 轨迹 。 这 实际 上 是 一 个 超 椭 圆 方程 。 
为 了 帮助 理解 ,我 们 定义 复 标量 


6i = yu 


1 (8.140) 


Sys tow (8.141) 
= Yk li t= 1,..., 
£ k “ik 


也 就 是 说 ,所 是 左 奇异 向 量 u, 的 各 种 可 能 元 素 值 的 线性 组 合 , 所 以 G Ea AR ZN. F 
是 ,可 将 式 (8.140) 表 示 为 





(8.142) 


Ms 
i 


i=1 o? 
WE PBIBA IC... Sy BERMASA, RK at A o... oyo K 8.9 
所 示 的 是 在 W=2 和 o, > o, ATF ,由 式 (8.140) 绘 出 的 轨迹 (假定 数据 矩阵 A 是 实 型 的 )。 


72 






“2=um2z 的 间隔 


či = wy ATED BR 


Jı 


图 8.9 实数 据 情况 下 由 式 (8.140) 绘 出 的 轨迹 (其 中 W=2 Alo, >o) 


第 8 章 RPDORK 335 


8.14 线性 最 小 二 乘 问题 的 最 小 范 数 解 


前 面 已 经 按 其 SVD 对 矩阵 A 的 伪 逆 做 了 一 般 性 定义 ,下 面 我 们 将 求 出 线性 最 小 二 乘 问题 
的 解 [ 即 使 当 nul(A) 冯 86 时]。 前 面 已 提 到 ,最 小 二 乘 问题 的 解 由 式 (8.101) 给 出 ,为 方便 计 ， 
这 里 重 写 如 下 

w= Ard (8.143) 
伪 逆 和 矩阵 A* 由 式 (8.132) 定 义 。 我 们 发 现 , 当 nul(A) 6 时 ,在 求解 最 小 二 乘 问题 的 众多 向 
量 中 ,由 式 (8.143) 定 义 的 那个 向 量 有 其 独特 之 处 ,因为 该 向 量 的 欧 氏 长 度 最 短 (Stewart, 1973) 。 

我 们 可 以 通过 处 理 最 小 二 乘法 中 定义 误差 平方 和 最 小 值 的 那个 方程 来 证 明 这 个 重要 结 
Wo ERER VV" A UU” 都 等 于 单位 阵 ,因此 可 从 式 (8.49) 出 发 ,并 将 它 与 式 (8.48) 结 
合 , 从 而 写 出 

Emin = dd ~ d?AW 
= d"(d — Aw) 


= dxUUs(d - AVV4W) (8.144) 
= d?U(U"d — UFAVV"w) 
A 
viw =b 
- K (8.145) 
b2 
和 
U#d = c 


_ [e] (8.146) 
-| 


EH b Me Æx 向量,b, 和 是 另 两 个 向 量 。 将 式 (8.103)、 式 (8.145) 和 式 (8.146) 代 人 


式 (8.144) ,可 得 
o cl |Z 0||b 
sa arole- ow]) 


(8.147) 
— aru ® 一 | 
C2 
EEE nin D ,必须 
cl = Xb, (8.148) 
或 者 等 效 地 
bi = Xe, (8.149) 


TERE wi 与 by 无 关 , 故 by 可 取 任 意 值 。 然 而 ,如 令 b = 0, 则 可 得 特殊 的 结果 
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® = Vb 
_ fo" | (8.150) 
0 


我 们 也 可 以 将 w 表示 为 如 下 等 效 形式 


= A‘d 
ERRAITEA. 143) Fale, eset A 由 式 (8.132) 定 义 。 至 此 ,已 经 证 明 w 的 这 个 值 
的 确 就 是 线性 最 小 二 乘 问 题 的 解 。 

此 外 ,这 样 定 义 的 向 量 w, 就 其 具有 可 能 的 最 小 欧 氏 范 数 这 一 点 来 说 , 它 是 惟一 的 。 特 别 
是 ,因为 VV”=1, 故 从 式 (8.150) 可 以 发 现 ,w 的 欧 氏 范 数 的 平方 等 于 
|||? = ete) 


下 面 ,我 们 考虑 线性 最 小 二 乘 问题 另 一 种 可 能 的 解 , 它 定义 为 
-1 
w= ve | b, #0 


wi]? = ee? + lb? 


w' 的 欧 氏 范 数 的 平方 等 于 


可 以 看 出 ,对 任意 的 bp 40,4 
IW < iw (8.151) 
总 之 ,对 于 一 个 线性 横向 滤波 器 ,由 式 (8.143) 定 义 的 抽 头 权 向 量 w 是 线性 最 小 二 乘 问题 
的 惟一 解 , 即 使 null(A) 关 8B。 向 量 w 是 惟一 能 同时 满足 如 下 两 个 要 求 的 抽 头 权 向 量 :(1) 产 生 
最 小 误差 平方 和 ;(2) 具 有 可 能 的 最 小 欧 氏 范 数 。 在 这 个 意义 上 ,向 量 w 是 独一无二 的 。 抽 头 
权 向 量 w 的 这 个 特 解 称 为 最 小 范 数 解 。 
8.14.1 最 小 范 数 解 的 另 一 公式 
取决 于 处 理 的 是 超 定 情况 还 是 欠 定 情况 ,我们 可 得 出 最 小 范 数 解 的 展开 式 。 因 此 ,下 面 依 
次 考虑 这 两 种 情况 。 
情况 1: 超 定 ”在 这 种 情况 下 ,方程 的 个 数 K 大 于 未 知 参 数 的 个 数 M。 将 式 (8.132) 代 入 
式 (8.143) ,并 结合 分 别 由 式 (8.106) 和 式 (8.114) 给 出 的 本 和 矩阵 V 和 T 的 分 块 表示 ,再 对 U A 
用 式 (8.112) ,可 得 到 
Ww = (VE Av 2)" ad 
= V XVE Ad (8.152) 
= V 5V Ad 
如 在 式 (8.152) 中 利用 以 下 定义 [ 见 式 (8.107)] 


第 8 章 最 小 二 乘法 337 





V= [vi, Vz, ș.. vw! 
则 可 在 超 定 情况 下 得 到 w 的 展开 式 
w (vřA"d) 


w= >) (8.153) 


i=1 Ti 
情况 2: 欠 定 ”对 于 第 二 种 情况 ,方程 的 个 数 KK 小 于 未 知 参 数 的 个 数 村 。 这 时 ,使 用 数据 
和 矩阵 A 表示 子 阵 Vi[ 见 式 (8.123)] 比 较 合适 。 将 式 (8.123) 代 入 式 (8.143), 并 用 式 (8.106) 和 


式 (8.114) 分 别 表 示 VA U, 
W = (AU XE Ud) 





= AFU X Ud (8.154) 
如 在 式 (8.154) 中 利用 以 下 定义 [ 见 式 (8.118) ] 
U = [u,, up, ..., uw | 
则 可 在 欠 定 情况 下 得 到 w 的 展开 式 
w (uid 
w=5 we ) Afu, (8.155) 
i=1 i 


显然 ,该 式 与 超 定 情况 下 的 式 (8.153) 不 同 。 

这 里 需要 注意 的 重要 一 点 是 ,在 超 定 和 欠 定 两 种 情况 下 ,分 别 由 式 (8.153) 和 式 (8.155) 给 
出 的 Ww 的 展开 形式 的 解 ,二 者 都 包含 在 式 (8.143) 的 紧凑 表达 式 中 。 实 际 上 ,从 数值 计算 的 角 
度 看 , 式 (8.143) 是 计算 最 小 二 乘 估计 w 的 首选 方法 。 


8.15 归 一 化 最 小 均 方 算法 看 做 欠 定 最 小 二 乘 估计 问题 的 最 
小 范 数 解 


”在 第 6 章 中 ,我 们 得 出 了 归 一 化 最 小 均 方 (LMS) 算 法 是 约束 最 优化 问题 的 解 。 这 一 节 ,我 
们 将 根据 由 SVD 得 到 的 定理 来 讨论 这 一 算法 。 特 别 是 ,我 们 要 说 明 , 归 一 化 最 小 均 方 算法 确 
实 是 欠 定 线性 最 小 二 乘 问题 的 最 小 范 数 解 ,该 问题 包含 一 个 具有 MM 个 未 知 数 的 误差 方程 ,其 
中 歼 是 算法 中 抽 头 权 向 量 的 维 数 。 

为 了 具体 说 明 ,考虑 误差 方程 
e(n) = d(n) — Wi(n + 1)u(n) (8.156) 
式 中 d(n) 是 期 望 响 应 ,ul(n) 是 抽 头 输入 向 量 , 二 者 都 是 在 时 刻 n 测量 的 。 要 求 是 找到 时 刻 
n+ 1 的 抽 头 权 向 量 w(n + 1) ,使 得 由 


dw(n + 1) = W(n + 1) — W(n) (8.157) 
给 出 的 抽 头 权 向 量 的 变化 最 小 , 且 满 足 约 束 条 件 
a(n) = 0 (8.158) 
将 式 (8.157) 用 于 式 (8.156) ,可 将 误差 公式 重 写 为 
e(n) = d(n) — Wi(n)u(n) — "(n + 1)u(n) (8.159) 


现在 ,我 们 可 看 到 估计 误差 的 习惯 定义 , 即 
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e(n) = d(n) — WI(n)a(n) (8.160) 
因此 ,可 将 式 (8.159) 简 化 为 
e(n) = e(n) — ô®"(n + 1)u(n) (8.161) 
Xf EPH SEG , HERAS. 158) HARARE SRF 
u4(n)8w(n + 1) = e*(n) (8.162) 


因此 ,可 以 将 约束 最 优化 问题 重 述 如 下 : 


在 时 刻 n+l 对 抽 头 权 向 量 的 变化 量 SWw(m+1) 求 最 小 范 数 解 , 使 其 满足 约束 条 件 
u(n)8W(n + 1) = e*(n) 


这 是 一 个 欠 定 线性 最 小 二 乘 估计 问题 。 为 了 求 得 此 问题 的 解 ,可 利用 式 (8.155) 描 述 的 
SVD。 为 了 帮助 我 们 应 用 这 个 方法 ,利用 式 (8.162) ,比较 归 一 化 LMS 算法 与 线性 最 小 二 乘 估 
计 , 并 将 其 特征 列 于 表 8.1 中 。 特 别 是 ,我 们 注意 到 归 一 化 LMS 算法 只 有 一 个 非 零 奇 异 值 等 于 
抽 头 输入 向 量 u(n) 的 范 数 , 即 rank( W) = 1。 因 此 ,相应 的 左 奇异 向 量 等 于 单位 长 度 。 因 此 ， 
上 借助 于 这 个 表 , 由 式 (8.155) 可 得 


人 1 
bwin +1) = juny ee) (8.163) 
这 正 是 我 们 在 第 6 章 导出 的 结论 [ 见 式 (6.8)]。 

下 面 ,我 们 可 以 得 出 与 第 6.1 节 中 相似 的 推论 ,而且 通 过 引 人 标 度 因 子 到 ,可 将 变化 量 
sw(n+1) 重 新 定义 为 


~ 


a(n + D = Top 


u()e*(n) 
等 效 地 ,还 可 以 写 为 
Wn + 1) = W(n) + ju in Ta u(n)e*(n) (8.164) 


RFE, BR ATT BE Be OT SSK AN De ET EP HE TB a ,而 不 需要 改变 向 量 的 方向 。 式 
(8.164) 是 归 一 化 LMS 算法 中 抽 头 权 向 量 的 更 新 公式 [ 见 式 (6.10)]。 

在 这 一 节 讨论 中 需要 注意 的 重要 一 点 是 ,SVD 为 欠 定 线性 最 小 二 乘 估计 与 LMS 理论 之 间 
提供 了 很 有 价值 的 联系 。 特 别 是 ,我 们 已 经 证 明了 归 一 化 LMS 算法 的 权 值 更 新 实际 上 可 看 做 
欠 定 线性 最 小 二 乘 问题 的 最 小 范 数 解 。 这 个 该 算法 中 ,该 问题 涉及 到 一 个 末 知 数 个 数 等 于 抽 
头 权 向 量 维 数 的 单一 误差 方程 。 


表 8.1 线性 最 小 二 乘 估计 与 归 一 化 LMS 算法 之 间 的 对 应 关系 小 结 








最 小 二 乘 估计 ( 欠 定 ) 归 一 化 LMS 算法 
数据 矩阵 A u” (n) 
期 望 数 据 向 量 d e* (n) 
参数 向 量 Ww dw(n +1) 
秩 w 1 
奇异 值 oisi=1,...,W lun) |l 
左 奇异 向 量 u,,i=1,...,0 1 
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8.16 本 章 小 结 


在 这 一 章 中 ,我 们 详细 讨论 了 最 小 二 乘法 ,该 方法 是 通过 采用 批 ( 块 ) 处 理 方法 求解 线性 自 
适应 滤波 问题 。 这 种 方法 的 显著 特点 如 下 : 


© 它 是 一 种 基于 模型 的 分 块 处 理 输入 数据 的 方法 , 它 所 依据 的 模型 是 一 个 多 参数 线性 回 
归 模 型 。 

© 假定 多 参数 回归 模型 的 测量 误差 过 程 是 零 均 值 的 白 噪 声 ,该 方法 可 获得 具有 最 佳 线性 
无 偏 估计 (BLUE) 的 横向 滤波 器 抽 头 权 向 量 的 一 个 解 。 


最 小 二 乘法 非常 适用 于 求解 谱 估计 /波束 形成 问题 ,诸如 那些 基于 自 回归 (AR) 模 型 和 最 
小 方差 无 失真 响应 (MVDR) 模 型 的 方法 。 为 了 有 效 地 计算 最 小 二 乘 解 ,推荐 的 方法 是 直接 处 
理 输入 数据 的 奇异 值 分 解 (SVD) 方 法 。SVD 由 以 下 参数 定义 : 


o 构成 西 矩 阵 的 一 组 左 奇异 向 量 
e 构成 男 一 个 酉 矩阵 的 一 组 右 奇 异 向 量 
© 相应 的 一 组 非 零 奇 异 值 


用 SVD 解 线性 最 小 二 乘 问题 的 突出 优点 是 ,用 输入 数据 矩阵 伪 逆 定义 的 解 在 数值 上 是 稳定 
的 。 如 果 一 个 算法 对 干扰 的 敏感 程度 不 会 超过 研究 中 问题 所 固有 的 ,我 们 就 说 该 算法 在 数值 
上 是 稳定 的 或 鲁 棒 的 。 - 

SVD 的 另 一 个 应 用 是 确定 竹 阵 的 秩 。 一 个 矩阵 的 列 秩 定义 为 矩阵 中 线性 无 关 的 列 数 。 具 
体 地 ,我 们 说 一 个 M x KEREM S> K), KERKERS KAIRIE. EE 
上 , 满 秩 的 确定 只 有 “是 "和 “不 是 ”两 种 情况 ,从 这 种 意义 上 说 ,我 们 碰 到 的 矩阵 要 么 是 满 秩 的 ， 
要 么 不 是 。 然 而 在 实际 中 ,由 于 数据 矩阵 的 模糊 性 以 及 运算 的 不 精确 性 (有 限 精 度 ) ,使 得 秩 确 
定 问题 复杂 化 了 。 在 给 定 模 糊 数 据 和 有 限 精 度 运算 所 引信 舍 入 误差 的 情况 下 ,SVD AAEE 
阵 的 秩 提供 了 一 种 切实 可 行 的 方法 。 

最 后 (但 不 是 最 不 重要 ) ,最 小 二 乘法 通过 SVD 提供 了 它 与 归 一 化 LMS BE BA IAL Mt 
值 的 数学 联系 ,因为 该 滤波 器 是 欠 定 最 小 二 乘 估计 问题 的 最 小 范 数 解 。 


8.17 习题 


1. 考虑 由 M 个 均匀 间隔 的 传感器 组 成 的 线性 阵列 ,在 ;时刻 观 测 到 的 第 大 个 传感器 的 输出 为 
u(k,i), AP R=1,2,...,M Mi=1,2,..., ns SPE, WW v(1,i),u(2,i),..., 
u(M, i) LT i BIRR”. HARR nx M 数据 矩阵 ,其 埃 尔 米 特 转 置 定义 为 


u(1,1) u(1,2) > u(l,n) 
AH = | (21) u(2,2) +e u(2,n) 


u(M, 1) u(M, 2) a u(M, n) 


其 中 , 列 数 等 于 快照 数 , 行 数 等 于 阵列 中 传感器 的 数目 。 请 证 明 下 列 结论 : 
(a) M x 矩阵 A”A 是 时 间 平 均 的 空间 相关 和 矩阵 ,这 种 形式 的 平均 假设 环境 在 时 间 上 是 平 “ 
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(b) nx n RARE AA” 是 空间 平均 的 时 间 相 关 和 矩阵 ,这 种 形式 的 平均 假设 环境 在 空间 上 是 平 
稳 的 。 
. WRB NOIR RT w 与 式 (8.52) 多 元 线性 回归 模型 的 未 知 参 数 w, 之 差 ,可 在 均 方 误差 意 
义 上 最 终 达 到 足够 小 ,我 们 就 说 最 小 二 乘 估计 w 是 一 致 估计 。 由 此 有 :误差 向 量 e, 的 均值 
为 零 且 它 的 元 素 互 不 相关 ; 当 样本 数 N ATERN, MER D :的 迹 趋 于 0。 试 在 上 述 条 
件 下 ,证 明 最 小 二 乘 估计 w 是 一 致 估计 。 
. 在 第 8.7 节 的 例 1 中 ,我们 利用 一 个 3 x2 输入 数据 矩阵 和 一 个 3x 1 期 望 数据 向 量 说 明了 
正 交 性 原理 的 推论 。 根 据 例 中 给 出 的 数据 ,计算 线性 最 小 二 乘 滤波 器 两 个 抽 头 权 值 。 
. 在 线性 预测 的 自 相 关 法 中 ,可 通过 使 误差 能 量 
& = Sire 
达到 最 小 来 确定 横向 预测 器 的 抽 头 权 向 量 , 式 中 f(xn) 是 预测 误差 。 证 明 ( 前 向 ) 预 测 误差 
滤波 器 的 传递 函数 H(z) 是 最 小 相位 的 ,因为 其 根 严格 位 于 z 平面 上 的 单位 圆 内 。 
[提示 :1) 将 术 阶 传递 吕 数 是 (z) 表 示 为 一 个 简单 的 零 因子 (1 - zz”) 和 某 一 函数 W'(z) 5 
乘积 ,然后 使 预测 误差 能 量 关 于 零点 五 的 幅度 为 最 小 。 
2) 利用 柯 西 - 许 瓦 英 不 等 式 


Rel Sorg(n— ngt] =| Ser] TS erse DF] 


% AMS g(n) =e"g(n-1) MH, LARLZ, EP n=1,2,..., 00] 
. AP 8.1 所 示 是 一 个 具有 横向 结构 的 前 向 预测 误差 滤波 器 ,利用 抽 头 输入 uli -1),u(i-2),..., 
wu(i -以 ) 对 u(i) 进 行 线性 预测 ,并 将 预测 结果 记 为 (i)。 试 求 出 使 前 向 预测 误差 平方 和 


N 
B= > lol 


为 最 小 的 抽 头 权 向 量 Ww[ 式 中 的 fy(i) 是 前 向 预测 误差 ]; 并 求 以 下 参数 ; 
(a) 预测 器 抽 头 输入 的 M x MEER, 

(b) 预测 器 抽 头 输入 与 期 望 响应 u(i) 之 间 M x 1 的 互相 关 向 量 。 

(c) gr 的 最 小 值 。 


输入 信和 号 
ui) 





图 P8.1 横向 结构 的 前 向 预测 误差 滤波 器 
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6. 图 P8.2 所 示 是 一 个 具有 横向 结构 的 后 向 预测 误差 滤波 器 ,利用 抽 头 输入 uli- M+1)， 
.ua(i-1),z(i 对 输入 uli- MM) 进行 线性 预测 ,并 将 预测 结果 记 为 x(i - M)。 试 求 出 
使 后 向 预测 误差 平方 和 


N 
= > bui 
i=M+1 


为 最 小 的 抽 头 权 向 量 w[ 式 中 的 by (i) 是 后 向 预测 误差 ]; 并 求 以 下 参数 : 
(a) 抽 头 输入 的 M x M 相关 和 矩阵 。 

(b) 抽 头 输入 与 期 望 响应 u(i- M) 之 间 Mx 1 互相 关 向 量 。 

(c) €, 的 最 小 值 。 


uli — M) į — uli — M +2) uli - 1) 





图 P8.2 横向 结构 的 后 向 预测 误差 滤波 器 


7. 试用 直接 法 导出 式 (8.31) 中 以 展开 形式 给 出 的 正则 方程 组 , 即 用 协 方差 方法 使 误差 的 平方 
和 最 小 。 

8. 应 用 于 MVDR 波束 形成 器 的 一 种 简单 的 正则 化 形式 是 将 计算 W x M 时 间 平 均 相 关 和 矩阵 © 
的 式 (8.92) 修 正 为 


K 
= Zul u(nju"(n) + ôl 


式 中 ,I 是 Mx MGS 是 正则 化 参数 。 由 于 这 个 原因 ,将 这 种 形式 的 正则 化 称 为 对 角 
线 加 载 (diagonal loading)。 试 证 明 ,用 这 种 方式 进行 正则 化 的 MVDR 波束 形成 器 ,可 通过 使 
代价 函数 


K 
Bog = D wul) + afwis(o) — 1) + awl? 


关于 权 向 量 w 的 最 小 化 来 获得 。 式 中 符号 的 含义 与 第 8.10 7B, SOEUR 向 量 ， 
4 是 拉 格 朗 日 乘 子 ,6 是 正则 化 参数 。 he 

9. 考虑 一 个 应 用 前 向 和 后 向 线性 预测 (FBLP) 的 自 回归 谱 估 计 过 程 。 图 P8.1 sam 8 分 别 
给 出 用 FIR 滤波 器 作为 前 向 和 后 向 预测 误差 汪 波 加 的 情况 。 PEEBLES CS SC 为 
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式 中 的 (让 和 bx( 记 分 别 表示 前 向 和 后 向 预测 误差 。 
(a) 导出 使 代价 函数 6 最 小 的 抽 头 权 向 量 w 的 公式 

(b) 确定 代价 函数 的 最 小 值 6 min 

Co) 若 定 义 预 测 误差 滤波 器 的 (M+ 1) x 1 抽 头 权 向 量 为 


并 设 


式 中 的 0 表示 全 零 向 量 。 试 确定 相关 矩阵 O, HEA @-' 是 完全 埃 尔 米 特 对 称 的 , 即 证 明 


o(k,t)=O*(t,k) OX(t,k) <M 
和 
$(M—k,M—t)=$*(,k) O<(tk) SM 


. 考虑 一 般 的 信号 干扰 比 最 大 化 问题 ” 





wss” w 
max( w' Rw ) 
Cw = fy- 
式 中 ,w 是 自 适应 波束 形成 器 M x 1 的 权 向 量 ,s 是 Mx1 复 值 波束 转向 向 量 ,R 是 干扰 信 
SHIM x MM 未 知 相关 矩阵, Cy Æ M x (N -1) 线 性 约束 和 矩阵 ,fy_1 是 (N - 1) x1 约束 向 


量 。 
(a) 证 明 该 约束 优化 问题 的 解 为 


它 满足 附加 的 线性 约束 条 件 


w, = RC(CHR-C) ff 
APC Mx N 和 矩阵, 它 通过 对 和 矩阵 Ch_1 增 加 一 列 转 向 向 量 s 得 到 ,向 量 f 通 过 对 
fy_1 增 加 固定 值 fo 得 到 ,f/f 是 转向 向 量 s 方 向 上 的 增益 (辐射 模式 ) , 即 
wis = fy 


(b) 求 出 应 用 (a) 中 定义 的 最 优 解 得 到 的 最 大 信号 干扰 比 。 





O 习题 10 中 的 约束 信和 号 干扰 比 最 大 化 问题 ,可 追 湖 到 Frost 的 早期 论文 (1972)》。Abramovich(2000) 研 究 使 用 相关 和 矩阵 
R[ 它 由 输入 向 量 u(n) 的 大 个 训练 样本 得 到 ] 的 最 大 似 然 估计 


a 1 * 
R=% Sn) 
或 对 角 线 “ 加 载 " 估 计 
R,=R+ ol 
产生 的 “损耗 "因子 的 概率 分 布 。 上 式 中 ,I 是 单位 阵 ,6 是 加 载 因 子 (正则 化 参数 )。Abramovich 给 出 的 统计 分 析 对 


分 析 线 性 约束 样本 矩阵 求 逆 算 法 的 性 能 具有 特别 的 意义 。 这 一 算法 适合 于 训练 样本 数 有 限 的 空中 和 地 平面 雷达 
应 用 。 
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13. 


14. 


Co) 求 当 附 加 的 线性 约束 条 件 为 零 时 的 最 优 权 向 量 及 相应 的 最 大 信号 干扰 比 。 
(d) Bu TARAS R 的 估计 过 程 。 


1 -i 
A= E J 
试用 以 下 两 种 不 同 的 方法 求 该 2x 2 实 矩 阵 的 奇异 值 和 奇异 向 量 : 
(a) ERER ATA 的 特征 分 解 。 


(b) 和 矩阵 积 AA” 的 特征 分 解 。 
MEMRAM A HA 


- RA KEH 


. 考虑 一 个 2x2 复数 矩阵 


+j 1405; 

A= Re 1209] 
按 以 下 要 求 计 算 A 的 奇异 值 和 奇异 向 量 : 
(a) 构造 矩阵 A”A, 求 出 它 的 特征 值 和 特征 向 量 。 
(b) 构造 矩阵 AA” , 求 出 它 的 特征 值 和 特征 向 量 。 
(c) 找 出 (a) 和 (b) 中 所 求 出 的 特征 值 和 特征 向 量 与 A 的 奇异 值 和 奇异 向 量 的 关系 。 
参照 第 8.7 节 的 例 1 给 出 的 数据 ,完成 以 下 计算 : 
(a) 计算 3x2 数据 和 矩阵 A 的 伪 逆 。 
(b) 利用 (a) 中 得 到 的 伪 道 A* ,计算 线性 最 小 二 乘 滤波 器 的 两 个 抽 头 权 值 。 
本 题 中 ,我 们 应 用 奇异 值 分 解 的 思想 ,来 研究 式 (6.12) 给 出 的 归 一 化 LMS 算法 权 值 更 新 表 
达 式 的 推导 。 这 个 问题 可 以 看 做 是 第 8.15 节 中 所 述 问题 的 延伸 。 试 求 系数 向 量 


c(n +1) = | wn »] 


的 最 小 范 数 解 ,使 得 满足 方程 


x” (n)e(n + 1) = e*(n) 


x(n) = | | 


其 中 


并 由 此 证 明 


Wn + 1) = W(n) + u(n)e*(n) 


— Ë | 
5 + |u(n)|? 


AF 6 > 0, 是 步 长 参数 。 


. 假设 给 定 一 处 理 器 ,可 用 来 计算 K x M 数据 矩阵 A 的 奇异 值 分 解 , 试 用 该 处 理 器 推出 计 


算式 (8.85) 中 权 向 量 â 的 框图 ,该 式 定 义 了 谱 估 计 中 MVDR 问题 的 解 。 


第 9 章 递归 最 小 二 乘 自 适应 滤波 加 


在 本 章 中 ,我 们 将 推广 最 小 二 乘法 的 应 用 ,以 便 推出 一 种 设计 自 适 应 横向 滤波 器 的 递归 算 
法 。 即 给 定 n -1 次 迭代 滤波 器 抽 头 权 向 量 最 小 二 乘 估计 ,依据 新 到 达 的 数据 计算 n KER 
权 向 量 的 最 新 估计 。 我 们 把 这 一 算法 称 为 递归 最 小 二 乘 (RLS, recursive least-squares ) 算法 
(滤波 器 )。 

在 RLS 滤波 器 的 推导 过 程 中 ,我 们 首先 回顾 最 小 二 乘法 的 一 些 基 本 关系 式 。 然 后 ,应 用 
矩阵 代数 中 和 矩阵 求 递 引 理 所 揭示 的 关系 ,导出 RLS 滤波 器 。RLS 滤波 器 的 一 个 重要 特点 是 , 它 
的 收敛 速率 比 一 般 的 LMS 滤波 器 快 一 个 数量 级 。 这 是 因为 RLS 滤波 器 通过 利用 数据 相关 算 
阵 之 道 , 对 输入 数据 (假定 这 些 数据 的 均值 为 零 ) 进 行 了 白化 处 理 。 然 而 ,性 能 的 改善 以 RLS 
滤波 器 计算 复杂 性 的 增加 为 代价 。 


9.1 预备 知识 


在 最 小 二 乘法 的 递归 实现 中 ,我们 从 给 定 的 初始 条 件 出 发 ,通过 应 用 新 的 数据 样 值 中 所 包 
含 的 信息 对 旧 的 估 值 进行 更 新 。 因 此 我 们 发 现 ,可 测 数据 的 长 度 是 可 变 的 。 因 而 ,把 待 最 小 化 
的 代价 函数 表示 为 (zm) ,其 中 n 是 可 测 数据 的 可 变 长 度 。 另 外 ,习惯 上 还 在 s(n) 的 定义 中 引 
人 加 权 因 子 。 于 是 ,可 以 写 出 


Sin) = $ Bin Dle (9.1) 
其 中 e(i) EBay d( 芭 与 计时 刻 抽 头 输入 为 xi,xzi-1) ui-MN+1l) 的 横向 滤波 
器 输出 y(i) 之 差 , 如 图 9.1 所 示 。 即 
e(i) = d(i) — y(i) 
= d(i) — w" (n)u(i) (9.2) 
其 中 mi) 是 i 时刻 的 抽 头 输入 向 量 ,定义 为 
uli) = [uli uli — 1),... uli — M+ DT (9.3) 
AP w(zm) 是 二 时 刻 的 抽 头 权 向 量 ,定义 为 
w(n) = [wo(n), wi(n),..., wman) (9.4) 
注意 ,在 代价 函数 8(n) 定 义 的 观测 区 间 eign 内 ,横向 滤波 器 的 抽 头 权 值 保持 不 变 。 


式 (9.1) 中 的 加 权 因 子 8(n ,i) 满 足 如 下 关系 
0 < B(n,i) <1 i=1,2,..., (9.5) 


一 般 说 来 ,加 权 因 子 Bn, 1) AED T PRUE “AS” BA a a HR, E OB a VE 
在 非 平 稳 环 境 时 ,能 跟踪 观测 数据 的 统计 变化 。 通 常 所 用 的 加 权 因 子 是 指数 加 权 因子 ,或 所 谓 
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遗忘 因子 ,定义 为 


B(n, i) = art i=1,2,...,n (9.6) 


式 中 A 是 一 个 接近 1, 但 又 小 于 1 的 正常 数 。 当 =1 时 ,对 应 一 般 的 最 小 二 乘法 。 粗 略 地 说 ， 
1-A 的 倒数 可 以 用 来 衡量 算法 的 记忆 能 力 ; 而 4 =1 的 特殊 情况 , 则 对 应 于 无 限 记忆 。 
输入 信号 





图 9.1 具有 时 变 抽 头 权 值 的 横向 滤波 器 
9.1.1 正则 化 


最 小 二 乘 佑 计 和 最 小 二 乘法 一 样 ,是 一 个 病态 的 求 道 问题 。 在 该 问题 中 ,给 定 构成 抽 头 输 
人 向 量 u(n) 的 输入 数据 和 相应 的 期 望 响应 4(n)( 其 中 n 是 变量 ) ,要 求 估计 出 多 重 回归 模型 
中 的 未 知 参数 向 量 , 该 向 量 与 4(n) 和 ul(n) 有 关 。 

最 小 二 乘 估计 的 病态 特性 源 于 以 下 原因 : 


© 输入 数据 中 的 信息 不 足以 惟一 地 构建 输入 输出 间 的 映射 关系 。 
e 在 输入 数据 中 不 可 避免 地 存在 着 噪声 或 不 精确 性 ,这 为 构建 输入 输出 映射 关系 增加 了 
不 确定 性 。 


为 使 估计 问题 变 为 非 病 态 ,需要 某 种 与 输入 输出 映射 关系 有 关 的 先 验 信息 。 这 意味 着 必须 扩 
展 代价 函数 公式 ,使 其 能 考虑 先 验 信息 。 
为 满足 这 一 需要 ,我 们 把 待 最 小 化 的 代价 函数 扩展 为 两 部 分 之 和 


€(n) = S xet + BA"|w(n)|? (9.7) 


(这 里 ,假设 使 用 了 预 加 窗 。) 代 价 函 数 的 两 个 分 量 如 下 
1) 误差 加 权 平 方 和 
Sae = Baat) - wa 
它 与 输入 数据 有 关 。 这 个 分 量 反映 出 期 望 响应 4d(i) 与 滤波 器 实际 响应 y(i) 之 间 的 指 
数 加 权 误 差 , 且 y(i) 与 抽 头 输入 向 量 u(i) 的 关系 可 用 公式 表示 为 
y(i) = wi(m)uli) 


2) 正则 化 项 
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SN"|wn) = 6A"wi(n)w(n) 


RE 6 是 一 个 正 实数 , 称 为 正则 化 参数 。 除 了 因子 on" 外 ,正则 化 项 只 取决 于 抽 头 权 
向 量 w( nm”)。 将 这 一 项 包含 在 代价 函数 中 , 以便 通过 平滑 作用 来 稳定 递归 最 小 二 乘 问 
题 的 解 。 
从 严格 意义 上 说 ,26" || wn) ||? 项 是 正则 化 的 近似 形式 。 原 因 有 两 个 :首先 ,指数 加 权 因 
子 和 A 介 于 0<4<1 之 间 ; 从 而 , 当 X4<1 时 ,4X" 随 着 n 的 增 大 趋 于 零 。 这 意味 着 随 着 时 间 的 推 
移 ,18" || wC) ||? 项 对 代价 函数 的 影响 会 逐渐 减 小 ( 即 逐 渐 被 遗忘 )。 其 次 ,而 且 更 为 重要 的 
是 , 正则 化 项 应 是 8 DF(w) ll? 形式, 其 中 F(w) 是 由 RLS 滤波 器 实现 的 输入 输出 映射 关 
系 ,D 是 差分 算 子 。 式 (9.7) 的 正则 化 项 通常 用 在 RLS 滤波 器 设计 中 。 


9.1.2 正则 方程 的 变形 
将 式 (9.7) 展 开 并 进行 整理 ,我 们 发 现 ,在 代价 函数 如 (m) 中 增加 正则 化 项 aa llw) Il’, 
相当 于 将 抽 头 输入 向 量 u(i) 的 M x M 时 间 平 均 相 关 和 矩阵 表示 为 
®(n) = S aulia” (i) + SA (9.8) 
式 中 I 是 Mx MAME. AA ABM EU LE YE A: CERERE n) HE 


Mn =0 FARRER PAE SS SF RO. E E ARAE EY OT Fs IK 
横向 滤波 器 抽 头 输入 与 期 望 响 应 之 间 的 M x 1 时 间 平 均 互 相关 向 量 z(n) 为 


a(n) = 5 A"u(i)d*(i) (9.9) 


它 将 不 受 正则 化 的 影响 ,此 处 依然 假定 使 用 预 加 窗 法 。 
根据 第 8 章 中 讨论 的 最 小 二 乘法 ,可 使 式 (9.7) 代 价 函 数 %(n ) 获 得 最 小 值 的 最 优 Mx1 抽 
头 权 向 量 w(n) 由 正则 方程 定义 。 弟 归 最 小 二 乘 问题 的 正则 方程 可 用 和 矩阵 形式 写 为 
Pn)w(n) = z(n) (9.10) 
这 里 的 ®(n) 和 z(n) 分 别 由 式 (9.8) 和 式 (9.9) 定 义 。 
9.1.3 @@(n) 和 z(n) 的 递归 计算 
将 对 应 于 i = n 的 项 与 式 (9.8) 右 边 的 求 和 项 分 开 ,可 写 出 
@®(n) = a| Saua + sarar] + u(n)u” (n) (9.11) 
i=l 


根据 定义 , 式 (9.11) 右 边 括号 内 的 表达 式 等 于 相关 矩阵 On - 1)。 于 是 ,可 得 用 于 更 新 抽 头 输 





四 “正则 理论 来 自 于 Tikhonov(1963)。 对 于 这 一 问题 的 详细 讨论 ,可 参见 Tikhonov 和 Arsenin (1977), Kirsch ( 1996 ) 以 及 
Haykin(2000) 。 
用 来 处 理 适当 正则 化 项 5 上 DE Cw) |]? 的 分 析 方法 建立 在 函数 空间 [ 称 为 函数 的 范 数 空间 (normmed space) ] 思 想 的 基 
础 上 。 在 这 样 一 个 多 维 (严格 意义 上 说 为 无 限 维 ) 空 间 里 ,连续 函数 表示 为 向 量 。 通 过 应 用 这 个 几何 图 像 ,可 建立 
线性 差分 算 子 和 算 阵 之 间 的 紧密 联系 (Lanczos,1964)。 因 此 ,符号 | 表示 作用 于 DF(Ww) 所 属 的 函数 空间 的 一 个 
范 数 。 
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和 相关 和 珑 阵 的 递归 公式 
P(n) = AD(n — 1) + u(n)u” (n) (9.12) 
其 中 O(n - 1) 是 相关 矩阵 的 过 去 值 ,矩阵 乘积 u( n)u”(n) 在 更 新 过 程 中 起 着 “修正 "项 的 作 
用 。 注 意 , 式 (9.12) 的 递归 过 程 与 初始 条 件 无 关 。 
类 似 地 ,可 用 式 (9.9) 导 出 抽 头 输入 与 期 望 响 应 之 间 互 相关 向 量 的 更 新 公式 
z(n) = Az(n — 1) + ul(n)d*(n) (9.13) 
为 了 按 式 (9.8) 计 算 抽 头 权 向 量 w(n) 的 最 小 二 乘 估计 ,必须 确定 相关 矩阵 Dn) 的 道 。 
然而 在 实际 中 ,我 们 通常 尽量 避免 这 样 做 ,因为 这 种 运算 非常 耗 时 ,特别 是 当 抽 头 数 MM 很 大 
时 。 另 外 ,我 们 希望 能 够 递归 计算 出 n= 1,2,…, om 时 抽 头 权 向 量 w(n) 的 最 小 二 乘 估计 。 我 
们 发 现 ,利用 甜 阵 代数 中 和 矩阵 求 逆 引 理 , 可 以 实现 上 述 两 个 目标 。 下 面 我 们 将 讨论 这 一 问题 。 


9.2 RKE 


BAA BERS Mx M 正定 阵 , 它 们 之 间 的 关系 为 


A = B” + CDC! (9.14) 
其 中 ,D 是 Nx M 正定 阵 ,C 是 Mx NERE, AHERN 
A`! = B — BC(D + CIBC) CB (9.15) 


要 证 明 该 引 理 ,可 将 式 (9.14) 与 式 (9.15) 相 习 , 利 用 方 阵 与 其 逆 阵 的 敢 积 等 于 单位 阵 得 到 ( 见 
习题 2)。 和 矩阵 求 逆 引 理 表明 ,如 果 给 定 一 个 如 式 (9.14) 定 义 的 矩阵 A, 我 们 可 以 通过 式 (9.15) 
计算 A-'。 实 际 上 ,上 面 两 个 方程 描述 了 这 一 引 理 。 和 矩阵 求 道 引 理 在 文献 中 也 称 为 Woodbury 
eR, 

在 下 一 节 ,我 们 将 说 明 怎 样 应 用 矩阵 求 道 引 理 ,得 到 计算 抽 头 权 向 量 w(n) 最 小 二 乘 解 的 
递归 公式 。 


9.3 指数 加 权 递 归 最 小 二 乘 算法 


假定 相关 逢 阵 (n) 是 非 奇异 的 ,因而 它 可 逆 。 我 们 对 式 (9.12) 所 表示 的 递归 方程 应 用 矩 
阵 求 逆 引 理 , 首 先 做 如 下 设 定 


A = TP(n) 

B“ = A®(n — 1) 
C= u(n) 
D=1 





@ ERRE | FEMUR IF ANSE. Householder( 1964) 78 € JAF Woodbury(1950)。 这 一 引 理 首先 被 Kailath 应 用 
在 滤波 理论 中 。 他 用 这 一 引 理 证 明 ,对 受到 加 性 高 斯 白 噪 声 干 扰 的 随机 线性 .时 不 变 信道 ,其 输出 的 最 大 似 然 估 
计 与 维 纳 滤波 器 是 等 价 的 (Kailath,1960)。 和 矩阵 求 道 引 理 的 早期 应 用 还 包括 He(1963) 的 工作 。 和 矩阵 求 道 引 理 另 外 
一 个 不 寻常 的 应 用 来 自 Brooks 和 Reed 的 工作 ,他 们 应 用 该 引 理 证 明 , 维 纳 滤波 器 .最 大 信 噪 比 滤 波 器 和 似 然 比 处 理 
器 在 检测 含 加 性 高 斯 白 噪声 信号 时 是 等 价 的 ( Brooks & Reed, 1972) (LSS 2 章 中 的 习题 18)。 
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然后 ,将 这 些 定义 代入 矩阵 求 逆 引 理 ,可 得 计算 相关 和 矩阵 逆 阵 的 递归 方程 如 下 
A2P (nm 1)u(n)u?(n)@'(n — 1) 
1+ MD 一 Ta (9.16) 





(n) =A O(n — 1) 一 


为 了 方便 计算 , 令 
P(n) = ®"(n) (9.17) 
和 
ATP(n — 1)u(n) 
1 + 和 AiasP(n — 1)u(n) (9.18) 





k(n) 


用 上 面 的 定义 ,可 将 式 (9.16) 改 写 为 

P(n) = A'P(n — 1) — Akn)u (in)Pn — 1) (9.19) 

M x M 矩阵 P(n) BY AE, M x 1 向 量 k(n) 叫 做 增益 向 量 ,后 面 将 会 解释 这 样 叫 的 
原因 。 式 (9.19) 是 RLS 算法 的 Riccati 方程 。 

整理 式 (9.18) ,可 得 
k(n) = A'P(n — 1)u(n) — AtkK(n)u”(n)P(n — 1)u(n) 
= [A'P(n — 1) — AtK(n)u4(n)P(n — 1) ]u(n) 
从 式 (9.19) 可 以 看 出 , 式 (9.20) 右 边 最 后 一 行 括 号 中 的 表达 式 等 于 P(n)。 因 此 ,我 们 可 以 将 
式 (9.20) 简 化 为 


(9.20) 


k(n) = P(n)u(n) (9.21) 
这 一 结论 ,连同 P(n) = 加 (nz) ,可 以 用 来 定义 增益 向 量 
k(n) = ®"'(n)u(n) (9.22) 


换 句 话说 ,增益 向 量 k(n) EWA O(n) ERRIMA LE u(n) 。 
9.3.1 抽 头 权 向 量 的 时 间 更 新 


下 面 ,我 们 要 导出 更 新 抽 头 权 向 量 最 小 二 乘 估计 w(n) 的 递归 公式 。 为 此 ,用 式 (9.8)、 式 
(9.13) 和 式 (9.17) 来 表示 抽 头 权 向 量 ”次 迭代 时 的 最 小 二 乘 估计 
W(n) = Bn)z(n) 
= P(n)z(n) (9.23) 
= AP(n)z(n — 1) + P(n)u(n)d*(n) 
将 式 (9.23) 右 边 第 一 项 中 P(m) 用 式 (9.19) 人 代替, 可 得 
w(n) = P(n — 1)z(n — 1) — k(n)u*(n)P(n — 1)z(n — 1) 
+ P(n)u(n)d*(n) 
= (n — 1)z( — 1) — k(n)u"(n) O(n — 1)z(n — 1) (9,24) 
+ P(n)u(n)d*(n) 
= w(n — 1) — k(n)u4(n)w(n — 1) + P(n)u(n)d*(n) 


”矩阵 P(n) 也 可 看 做 是 RLS 估计 w(=) 的 协 方差 矩阵 关于 噪声 方差 o? 的 归 一 化 (参见 图 8.1 所 示 的 多 重 线性 回归 模 
型 )。 对 P(n) 的 这 一 解释 来 自 本 书 第 8 章 第 8.8 节 介绍 的 线性 最 小 二 滋 估计 的 性 质 2。 
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最 后 ,应 用 P(n)u(n) 等 于 增益 向 量 k(n)[ 见 式 (9.21)], 可 得 更 新 抽 头 权 向 量 的 递归 方程 为 
W(n) = W(n — 1) + k(n)[d*(n) 一 uf(n)Wn — 1)] 
= Wn — 1) + k(n)é*(n) (9.25) 
其 中 
E(n) = d(n) — u(n)w*(n — 1) 
= d(n) — WA(n — Da (9.26) 


是 一 个 先 验 估计 误差 。 内 积 w*(n - 1)u(n) 表 示 基于 n - 1 时 刻 抽 头 权 向 量 最 小 二 乘 估计 旧 
值 的 期 望 响应 a(n) 的 估 值 。 

根据 调整 抽 头 权 向 量 的 式 (9.25) 和 表示 先 验 估计 误差 的 式 (9.26) ,可 用 图 9.2(a) 所 示 的 
框图 表示 递归 最 小 二 乘 算法 。 

一 般 说 来 , 先 验 估计 误差 &(n) 不 同 于 下 式 的 后 验 估计 误差 

e(n) = d(n) — W"(n)u(n) (9.27) 

其 计算 涉及 抽 头 权 向 量 在 时 刻 =( 当 前 时 刻 ) 的 最 小 二 乘 估计 。 实 际 上 ,我 们 可 以 将 &(n) 视 为 
更 新 抽 头 权 向 量 之 前 e(z) 的 暂时 值 。 但 要 注意 的 是 ,在 导出 式 (9.25) 递 归 算法 的 最 小 二 乘 优 
化 问题 中 ,我 们 实际 上 是 基于 e(n) 而 不 是 基于 En HERM BRE). 


9.3.2 RLS 算法 小 结 


式 (9.18)、 式 (9.26)、 式 (9.25) 和 式 (9.19) 组 成 了 RIS 算法 ,并 在 表 (9.1) 中 总 结 。 特 别 要 
注意 的 是 , 式 (9.26) 描 述 了 该 算法 的 滤波 过 程 , 据 此 激励 横向 滤波 器 以 计算 先 验 估计 误差 
&(n)。 式 (9.25) 描 述 了 算法 的 自 适应 过 程 , 据 此 可 通过 在 其 过 去 值 的 基础 上 增加 一 个 量 来 递 
推 抽 头 权 向 量 ,该 量 等 于 先 验 估计 误差 e(n) AHA INES E k(n) 的 乘积 (“增益 向 量 ” 
由 此 得 名 )。 式 (9.18) 和 式 (9.19) 使 得 我 们 能 够 更 新 增益 向 量 本 身 。 上 述 RIS 算法 的 一 个 重 
BRE RAE, ETERS PRE ®(n) 的 逆 和 矩阵 为 简单 的 标量 相 除 所 代 蔡 。 图 9.2(a) 给 
出 RLS 算 法 的 框图 ,图 9.2(b) 则 是 RLS 算法 的 信号 流 图 。 

R91 RLS 算法 小 结 
算法 初始 化 
w(0) =0 
P(0) = 3S-II 


高 SNR 时 取 小 的 正常 数 


低 SNR 时 取 大 的 正常 数 
对 每 一 时 刻 , n=1,2,… 计 算 


a(n) =P(n-1)u(n) 


n(n) 


k(n) = 3 +u4(n) a(n) 


&(n) = d(n) —-w4(n-1)u(n) 


wn) =w(n-1)+k(n)é" (n) 
和 
P(n) =A7'P(n-1) A- k(n) a4 (n)P(n-1) 
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wH(n — 1)u(n) 





(a) 框图 





单位 负 反 馈 
(b) 信号 流 图 


图 9.2 RIS 算 法 


注意 ,在 表 9.1 的 总 结 中 ,增益 向 量 k(n) 的 计算 分 两 步 进行 : 

9 首先 ,计算 用 x(n) 表 示 的 中 间 量 。 

o 第 二 ,用 x(n) 计 算 k(n)。 
从 有 限 精度 运算 的 角度 看 ,分 两 步 计算 k(n) 比 直接 用 式 (9.18) 计 算 k(n) 更 可 取 ( 第 13 BA 
关于 这 一 问题 的 更 详细 的 讨论 )。 

为 对 RLS 滤波 器 进行 初始 化 ,需要 指定 两 个 量 : 

© 初始 权 向 量 w(0)。 习 惯 上 令 Ww(0) = 0。 

© 初始 相关 和 矩阵 O10), S50 (9.8) PAY n =0, 如 果 使 用 预 加 窗 , 可 以 得 到 

| ®(0) = dl 


其 中 6 是 正则 化 参数 。 参 数 6 的 设 定 与 信 噪 比 有 关 , 高 信 品 比 时 取 小 值 ; 低 信 品 比 时 
则 取 较 大 值 。 这 样 做 的 合理 性 可 以 在 正则 化 的 意义 上 得 到 证 明 。 


9.4 正则 化 参数 的 选择 


在 Moustakides 的 详细 研究 (1997) 中 ,评价 了 在 平稳 环境 下 RLS 算法 的 收敛 性 能 , 它 有 两 个 
特殊 的 可 变 参数 : 

o 抽 头 输入 数据 的 信 噪 比 (SNR) ,这 个 量 由 流行 的 运行 条 件 决定 。 

© 正则 化 参数 $ , 它 由 设计 人 员 控 制 。 
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为 了 总 结 Moustakides 研究 成 果 的 实验 条 件 , 用 F(x) 表示 一 个 关于 x WERS, H fC) RR 
一 个 关于 x 的 非 负 标量 函数 。 其 中 ,变量 x 属于 集合 A,。 于 是 ,我 们 可 引入 如 下 定义 


F(x) = O(f) (9.28) 
这 里 存在 独立 于 变量 x HER 和 cy ,使 得 
f(x) 三 |F(x)| 三 cof(x) 对 所 有 xe oA, (9.29) 
FEP || ECx) | 是 F(x) 的 矩阵 范 数 ,定义 为 
F(x) = (tr [F* (x)F(x)]) (9.30) 


式 (9.28) 中 引入 的 定义 的 意义 将 变 得 很 明显 。 
如 第 9.3 节 中 所 指出 的 那样 ,RLS 滤波 器 的 初始 化 包括 设 定时 间 平 均 相 关 和 矩阵 的 初始 值 ， 


Bp 

(0) = ôI 
正则 化 参量 6 与 信 噪 比 的 关系 已 由 Moustakides(1997) 给 出 详细 说 明 。 特 别 是 ,下 (0) 可 表示 为 

(0) = p* Ro (9.31) 

其 中 

人 一 工 一 ^ (9.32) 
Ro 是 一 个 确定 的 正定 阵 ,定义 为 

Ry = oul (9.33) 
RF, o, 是 数据 样 值 z(z) 的 方差 。 因 此 ,根据 式 (9.31) 和 式 (9.33) ,正则 化 参量 6 可 定义 为 

8 = ozu" (9.34) 


[在 第 14 章 中 已 经 证 明 ,RLS 算法 中 的 因子 1 - 4 与 LMS 算法 中 的 步 长 参数 u 的 作用 相似 。 
因此 ,引入 式 (9.32) 的 记号 。] 
参数 a 为 区 分 相关 和 矩阵 ®(n) 初 始 值 的 大 、 中 、 小 提供 了 数学 基础 。 特 别 是 对 下 列 情况 
pelo, uo) 其 中 uo 之 1 (9.35) 
我 们 可 根据 式 (9.31) 的 定义 来 区 别 以 下 三 种 情况 : 
1) a > 0, 对 应 于 小 初始 值 @(0)。 
2) 0> az - 1, 对 应 于 中 等 初始 值 PCO). 
3) -1 宕 a ,对 应 于 大 初始 值 O0). 
有 了 这 些 定义 和 三 种 不 同 的 初始 条 件 ,我 们 可 以 总 结 出 式 (9.35) 支 配 下 RLS 算法 初始 化 
过 程 中 有 关 正 则 化 参数 6 的 选择 方法 (Moustakides ,1997) 如 下 : 
1) 高 信 嗓 比 : 当 抽 头 输 入 噪声 电 平 低 ( 即 输入 SNR 较 高 ,如 30 dB 或 更 高 数量 级 ) 时 , RLS 算 
法 呈现 指数 级 的 快速 收敛 速率 ,只 要 相关 和 矩阵 以 足够 小 的 范 数 初始 化 。 典 型 地 ,通过 设 
定 a = 1 来 满足 这 个 要 求 。 随 着 a 减 小 到 零 [ 即 随 着 唱 (0) 的 矩阵 范 数 增加 1],RIS 算法 的 
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2) 中 等 信 骂 比 ;在 中 等 SNR 环境 下 ( 即 输入 SNR 为 10 dB 数量 级 时 ) ,RLS 算法 的 收敛 速 
率 比 高 信 品 比 情况 下 的 最 佳 收敛 速率 要 差 。 但 是 ,RIS 算法 的 收敛 特性 对 -1<e<0 
范围 内 和 矩阵 ®@(0) 范 数 的 变化 不 敏感 。 

3) 低 信 嗓 比 :最 后 一 点 , 当 抽 头 输入 的 噪声 电 平 较 高 ( 即 输入 信 噬 比 SNR 为 - 10 dB 数量 
级 或 更 低 ) 时 ,用 具有 较 大 矩阵 范 数 的 相关 矩阵 (0) HF RLS 算法 初始 化 ( 即 a < -1) 
更 可 取 , 因 为 这 种 条 件 可 以 产生 最 好 的 全 局 性 能 。 


这 些 结论 对 平稳 环境 或 慢 时 变 环 境 成 立 。 但 是 ,如 果 环 境 状 态 突 变 , 而 且 这 一 变化 发 生 在 
RLS 滤波 器 达到 稳 态 时 , 则 该 滤波 器 就 会 将 这 一 突变 视 为 用 较 大 的 (0) 进 行 新 一 轮 的 初始 
化 ,这 里 的 n=0 对 应 于 环境 突变 的 那个 有 瞬间。 在 这 种 情况 下 ,最 好 停止 RLS 滤波 器 的 工作 ， 
改 用 一 个 较 小 的 吓 (0) 进 行 初始 化 而 重新 开始 新 一 轮 的 迭代 。 


9.5 误差 平方 加 权 和 的 更 新 递归 


当 抽 头 权 向 量 等 于 其 最 小 二 乘 估计 Ww(n) 时 ,误差 平方 加 权 和 可 达到 最 小 值 6w,(n)。 为 
计算 名 (nm) ,可 用 关系 式 [ 见 式 (8.40) 第 一 行 ] 
Emin(t) = Eln) 一 z” (n)W(n) (9.36) 
RPE (n) eM AAR RA) A 


€,(n) = Saraf 


(9.37) 
= AB(n — 1) + |d(n)/? 
因此 ESR (9.13) 0 (9.25) FISK (9.37) FRATK (9.36) ,可 得 
Emil) = Alan — 1) — z” (n — 1)W(n — 1)] 
+ d(n)[d*(n) — w"(n)W(n — 1)] (9.38) 


— z” (n)k(n)&*(n) 


上 式 最 后 一 项 中 的 z( nm) 已 被 还 原 为 原来 的 形式 。 根 据 定义 , 式 (9.38) 右 边 第 一 个 括号 中 的 表 
达 式 等 于 gs。(n - 1) 。 另 外 ,根据 定义 ,第 二 个 括号 中 的 表达 式 等 于 先 验 估计 误差 &(n) 的 复 
共 罗 。 对 最 后 一 项 ,我 们 用 增益 向 量 k(n) 的 定义 来 表示 内 积 
z”! (n)k(n) = z" (n)®™(n)u(n) 
= [87 (n)z(n)] u(n) 


= Wi(n)u(n) 


上 式 中 ,第 二 行 应 用 了 相关 和 矩阵 O(n) 的 埃 尔 米 特性 质 , 在 第 三 行 用 到 了 轴 - (mn)z(m) 等 于 最 
小 二 乘 估计 w(n)。 因 此 , 式 (9.38) 可 简化 为 
Emin(%2) = AEmin( — 1) + d(n)é*(n) 一 W"(n)u(n)é*(n) 
= AEmin(n — 1) + €*(n)[d(n) — W*(n)u(n)] (9.39) 
= AEmin(m — 1) + €*(n)e(n) 
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其 中 e(n) 是 后 验 估计 误差 。 式 (9.39) 是 更 新 误差 加 权 平 方 和 的 递归 公式 。 由 此 可 见 ,&(n) 的 
BIS e(n) 的 乘积 表示 更 新 过 程 中 的 修正 项 。 注 意 ,该 乘积 是 实数 ,这 意味 着 ,总 有 
E(n)e*(n) = é*(n)e(n) (9.40) 


9.5.1 KAF 


式 (9.39) 涉 及 两 种 不 同 的 估计 误差 : 先 验 估计 误差 &(m) 和 后 验 估计 误差 e(n) ,它们 之 间 
有 着 本 质 的 联系 。 为 了 建立 这 两 种 估计 误差 之 间 的 联系 ,可 从 式 (9.27) 的 定义 出 发 ,将 式 
(9.25) 代 入 式 (9.27) ,得 
e(n) = d(n) — [W(n — 1) + k(n)é*(n)] u(n) 

= d(n) — W"(n — 1)u(n) — k¥(n)u(n)é(n) (9.41) 

= (1 — k”(n)u(n))é(n) 
上 式 中 的 最 后 一 行 ,应 用 了 式 (9.26) 的 定义 。 后 验 估计 误差 e(n) 与 先 验 估计 误差 &(n) 的 比 
值 称 为 收敛 因子 , 记 为 Y(n)。 因 此 ,可 以 写 出 

y(n) e(n) 


~ €(n) * (9.42) 
= 1 —k*(n)u(n) 


其 值 由 增益 向 量 k(n) 和 抽 头 输入 向 量 u(n) 惟 一 确定 。 
9.6 示例 :单个 权 值 自 适 应 噪声 消除 器 


下 面 ,我 们 考虑 如 图 9.3 所 示 的 单一 加 权 双 输入 自 适应 噪声 消除 器 。 两 个 输入 为 基本 信 
号 d(n)( 由 承载 信息 的 信和 号 分 量 和 加 性 干扰 组 成 ) 和 参考 信号 wu(n)( 它 与 干扰 相关 而 与 承载 
信息 的 信号 无 关 ) 。 要 求 利 用 参考 信号 与 基本 信号 的 相关 性 ,抑制 自 适应 噪声 消除 器 输出 端的 
Fit. 





基本 信和 号 d(n) + 输出 
O &(n) 







参考 信 号 xD 


图 9.3 ”单一 加 权 自 适应 噪声 消除 器 
应 用 RLS 算法 可 得 该 消除 器 的 一 组 方程 ,经 整理 为 


_ 1 
k(n) 7 E _ 1) + e (9.43) 
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(n) = d(n) — w*(n — 1)u(n) (9.44) 


Ô(n) = Wn — 1) + k(n)é*(n) (9.45) 
G2(n) = AG2(n — 1) + Jula)? (9.46) 


在 最 后 一 个 方程 @(n) 中 , 零 均 值 参考 信号 wu(n) 的 方差 估计 是 P(n) 的 倒数 , 它 是 RLS 算法 中 
和 矩阵 P(n) 的 标量 形式 , 即 
02(n) = P(n) (9.47) 
将 式 (9.43) ~ 式 (9.46) 描 述 的 算法 与 应 用 归 一 化 LMS 算法 得 到 的 一 组 方程 进行 比较 ,能 
够 获得 一 些 新 的 认识 。 在 我 们 所 介绍 的 范围 内 ,人 们 特别 感 兴趣 的 归 一 化 LMS 算法 由 式 
(6.12) 给 出 。RILS 算法 与 归 一 化 LMS 算法 之 间 的 主要 差别 在 于 , 归 一 化 LMS 算法 中 的 常数 8 
被 RIS 算法 中 增益 因子 k(n) 分 母 中 的 时 变 项 Ao? (n - 1) 所 替代 ,该 因子 控制 着 式 (9.45) 中 
RLS 滤波 器 抽 头 权 值 的 修正 。 


9.7 RLS 算法 的 收敛 性 分 析 


本 节 将 讨论 平稳 环境 下 RLS 算法 的 收敛 特 性 ,此 处 假定 à 为 1(4 小 于 1 的 情况 将 在 第 14 
章 讨论 )。 为 了 给 下 面 的 讨论 做 准备 ,我 们 做 三 点 假设 ,这 三 点 都 有 它们 各 自 的 合理 性 。 


假设 I 期 望 响应 d(n) 与 抽 头 输入 向 量 u(n) 之 间 的 关系 由 如 下 多 重 线性 回归 模型 描述 

d(n) = wiu(n) + e,(n) (9.48) 
其 中 w, ZQRKAS, e(n ANERE, CAAMARFZA a2 HOHE AMS 
回归 量 u(n) 无 关 。 


9.4 给 出 了 式 (9.48) 所 述 关 系 , 它 与 第 8 章 中 讨论 最 小 二 乘 算法 时 所 用 的 图 8.1 相似 。 
假设 WAGES ASX a(m) 由 随机 过 程 生成 ,其 自 相 关 函 数 是 各 态 历 经 的 。 


假设 I 意味 着 ,可 用 时 间 平 均 代替 集 平均 ,这 一 点 在 第 1 章 中 已 做 说 明 。 特 别 地 ,可 将 输 
人 向 量 u(n) 的 集 平均 相关 和 矩阵 表示 为 


及 = = @(n) 对 于 n>>M (9.49) 
其 中 O(n) u(n) 的 时 间 平 均 相 关 和 矩阵 , 且 要 求 n> M ,以 保证 横向 滤波 器 的 每 一 个 抽 头 上 都 
有 输入 信号 。 式 (9.49) 的 近似 将 随 着 时 间 n 的 增加 得 到 改善 。 
假设 下 ”加权 误 差 向 量 g(m) 的 波动 比 输入 信号 向 量 un) HRA. 
假设 焉 成立 的 合理 性 在 于 ,加 权 误 差 向 量 e(n) Æ RLS 算法 ”次 迭代 中 一 系列 变化 量 的 累 
加 。 这 一 性 质 可 表示 为 
e(n) = Wo — w(n) 


= €(0) — SKE) 


(9.50) 


i= 


此 式 由 式 (9.25) 得 出 (见习 题 5)。 尽 管 k(i) 和 &( 让 都 与 (i 有 关 , 但 式 (9.50) 中 的 和 对 g(n) 
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具有 平滑 作用 。 实 际 上 ,RILS 滤波 器 起 到 了 时 变 低 通 滤波 器 的 作用 。 
下 面 的 讨论 都 是 基于 以 上 关于 a(n) 和 ad(n) 的 三 点 假设 。 


| 
| 
u(n) © | (ria) 
| 
| 
u(n- 1) 0 © £) 











a(n) 
观测 值 


图 9.4 多 重 线性 回归 模型 


9.7.1 RLS 算法 的 均值 收敛 性 
由 正则 方程 (9.10) 解 w(m) ,可 得 


W(n) = (nzn) n>M (9.51) 
其 中 ,对 和 =1 有 
O(n) = Yulin") + (0) (9.52) 
和 
x(n) = Sula) (9.53) 


将 式 (9.48) 代 入 式 (9.53), 然 后 应 用 式 (9.52) ,可 得 
x(n) = Dulas (iw, + S ulek 


m p (9.54) 
= ®(n)w, — $(0)w, + Du(i)et(i) 
i=l 


式 中 的 最 后 一 行 ,我 们 应 用 了 A = 1 时 的 式 (9.8)。 由 此 ,可 以 将 式 (9.51) 重 新 写 为 
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W(n) = Bn) Pn)w, — Dn) BOWw, + OUn) Dali)es() 
。 (9.55) 
= w, — D (n)B(0)w, + &"(n) > w(ieX(i) 


对 式 (9.55) 的 两 边 取 数学 期 望 ,并 引用 假设 I 和 假设 正 , 可 以 写 出 


E[w(n)] = wo 一 二 及 :中 (0)w。 


= w, — Rw, (9.56) 


其 中 p 是 期 望 响应 d(n) 与 输入 向 量 u(n) 之 间 的 集 平均 互相 关 向 量 。 式 (9.56) 表 明 ,RIS 算 
法 在 均值 意义 上 是 收敛 的 。 如 果 n 大 于 滤波 器 长 度 M 的 有 限 值 , 则 由 于 用 OO) = 6I 对 算法 
进行 初始 化 ,所 以 估计 w(n) 是 有 偏 的 。 但 当 n 趋 于 无 限时 ,偏差 将 趋 于 0。 


9.7.2 RLS 算法 的 均 方 偏差 


加 权 误 差 相 关 和 矩阵 定义 为 
K(n) = Ele(n)e*(n)] 
= E[(w, — W(n))(w, — W(n))"] 
将 式 (9.55) 代 人 式 (9.57) ,并 且 和 忽略 初始 化 的 影响 (这 一 点 对 n > M R), Ae 


(9.57) 


n 


K(n) = E| an) > $ uut Genet el) | 


i=1 j=l 


在 假设 1 条 件 下 ,输入 向 量 u(n) 以 及 由 它 所 得 的 O(n) SWERE e,(n) 无 关 。 因 此 ,可 以 
将 K(n) 表 示 为 两 个 期 望 的 积 


K(n) = | on) > Sanu" Norn) [else] 
isl j= 
由 于 测量 噪声 。(n) 是 白色 的 (假设 工 ) ,我 们 有 
2 . = a 
Ele*(i)e.(j)] = {°° te ] (9.58) 
其 中 oz Ee (n) RUTH. AML, MALE CRE 
K(n) = 2E| n'tn) $ uoua) | l 
i=] 


= PE|®'(n) O(n) O(n) | 
= o2E|® 1(n)] 
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最 后 ,引用 艇 和 人 在 式 (9.49) 中 的 假设 工 ,可 写 出 中 
K(n) = +R n>M (9.59) 
均 方 偏差 定义 为 


B(n) = Ele*(n)e(n) | 
= tr[K(n)] 


其 中 tr[ '] 表 示 矩 阵 求 迹 算 子 。 根 据 式 (9.59) ,RLS 算法 的 均 方 偏差 为 


(9.60) 


1 (9.60) 


HP A, 是 集 平均 相关 和 矩阵 R 的 特征 值 。 
根据 式 (9.61) ,我 们 现在 可 以 对 于 n> M 的 情况 得 出 如 下 两 点 重要 结论 : 


1) 均 方 偏差 多 (n) 被 最 小 特征 值 ,的 倒数 放大 。 因 此 ,对 于 一 阶 近似 , RLS 算法 对 特征 
值 扩 散 的 敏感 性 正比 于 最 小 特征 值 的 倒数 。 因 此 ,病态 的 最 小 二 乘 问题 会 使 收敛 性 能 
变 差 。 

2) 均 方 偏差 S (=) 随 迭代 次 数 n 几乎 呈 线 性 衰减 。 因 此 ,由 RIS 算 法 得 到 的 估计 w(n) 几 
乎 随时 间 线 性 地 按 范 数 ( 即 “ 均 方 ”) 收敛 于 多 重 线性 回归 模型 的 参数 向 量 w。。 


9.7.3 RLS 算法 的 集 平 均 学 习 曲 线 


在 RLS 算法 中 ,存在 两 类 误差 : 先 验 佑 计 误 差 &(n) 和 后 验 估计 误差 e(n)。 给 定 第 9.3 节 
中 的 初始 条 件 , 可 以 发 现 这 两 种 误差 的 均 方 值 随时 间 n ARE. n= 1, EC) kA 
值 较 大 [等 于 期 望 响应 4(n) 的 均 方 值 ] ,然后 随 着 n 的 增 大 而 衰减 。 另 一 方面 , 当 n=1 时 ， 
e(n) 的 均 方 值 较 小 ,然后 随 着 n 的 增加 而 增 大 ,一直 增加 到 e(n) SF &(n) 时 一 个 n 较 大 的 
点 。 因 此 ,选择 &(n) 作 为 感 兴趣 的 误差 ,可 得 到 一 个 与 LMS 算 法 学 习 曲 线形 状 相同 的 RLS 算 
法 学 习 曲 线 。 于 是 ,我 们 能 够 通过 图 形 直接 在 RLS 算法 与 LMS 算法 的 学 习 曲 线 之 间 进 行 比 
较 。 因 此 ,我 们 可 以 先 验 估计 误差 &(n) 为 基础 计算 RLS 算法 的 集 平均 学 习 曲 线 , 即 


P(n) = E[\é(n)/7] (9.62) 


式 中 的 搬 导 用 来 区 分 &(n) 与 e(n) 的 均 方 值 。 
在 式 (9.26) 和 式 (9.48) 之 间 消 去 期 望 响应 4(n) ,可 以 将 先 验 估计 误差 表示 为 





@ AX 
E[@®"(n)] = as 对 于 n>M 
已 为 关于 复 维 萨 特 分 布 (Wishart distributions) 的 附录 EC 所 证 实 。 相 关 和 矩阵 四 -1(n) 可 在 下 列 条 件 下 : 
。 输 入 向 量 (1),u(2),…,u(n) 是 独立 同 分 布 的 (i.i.d.)。 


。 输 入 向 量 u(1),u(2),…,u(n) 由 具有 零 均值 \ 集 平均 相关 和 矩阵 为 R 的 多 元 高 斯 分 布 的 随机 过 程 产生 。 
由 复 维 萨 特 分 布 表 示 。 上 述 假 设 对 工作 在 高 斯 环境 下 的 阵列 处 理 系统 同样 适用 。 
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Eln) = e(n) + [wo ~ Wn — 1)) un) 
= e(n) + ef(n — 1)u(n) 
其 中 包含 eln- 1) 的 第 二 项 是 无 干扰 估计 误差 。 将 式 (9.63) 代 入 式 (9.62) ,然后 展开 ,可 得 
71(n) = Elle(n)’] + Ela" (nje(n = 1)e”(n = 1)u(n)] 
+ Ele"(n — 1)u(n)e*(n)] + Ele,(n)u4(n)e(n — 1)] 
为 了 处 理 式 (9.64) 中 的 四 个 数学 期 望 项 ,要 注意 以 下 几 点 : 
© 由 式 (9.58) 可 知 ,1e,(n)1? 的 期 望 值 是 co。 
o 第 二 个 期 望 可 表示 为 
Eluf(n)e(n — 1)e”(n — 1)u(n)] = Eftr (uw? (n)e(n — 1)e4(n — 1)u(n)}] 
= Eltr{u(n)u"(n)e(n — 1)e”(n — 1)}] 
= tr{Elu(n)u"(n)e(n — 1)e"(n — 1))} 
FEI MARE, n 次 迭代 时 加 权 误 差 向 量 外 积 s(n -1)e”(n -1) 的 随机 波动 慢 于 外 积 
u(n)u”"(n)。 因 此 ,我 们 可 利用 直接 平均 法 写 出 
E[u’(n)e(n — 1)e"%(n — 1)u(n)] ~ tr {E[u(n)u4(n) El e(n — 1)e4(n — 1)]} 


(9.63) 


(9.64) 


= tr[RK(n — 1)] (9.65) 
将 式 (9.59) 代 入 式 (9.65) 得 . 
E|u”(n)e(n — 1)e"%(n — 1)u(n)] = 工 vatr RR! 
n 
= 一 oztr[ (9.66) 
= M? n> M 
n 


其 中 M 是 滤波 器 长 度 。 
e 第 三 个 期 望 等 于 零 。 原 因 有 两 个 :首先 ,将 n 时 刻 视 为 现时 刻 , 则 加 权 误 差 向 量 
s(n -1) 取 决 于 输入 向 量 u(n) 和 测量 噪声 e,(n) 的 过 去 值 [参见 式 (9.50)]。 第 二 ,在 假 
设 1 条 件 下 ,u(n) 和 e,(n) 是 统计 独立 的 ,而 且 e(n) 的 均值 为 零 。 因 此 ,可 以 写 出 
Ele?(n — 1)u(n)es(n)] = Ele*(n — 1)u(n)] Eles(n)] 
=0 
® 除了 共 思 差别 外 ,第 四 个 期 望 与 第 三 个 期 望 的 形式 相同 。 因 此 ,第 四 个 期 望 也 等 于 零 。 
将 这 些 结果 用 于 式 (9.64) ,可 写 出 


T(n) = 


(9.67) 


sh 
十 
| 

a 


2 n>M (9.68) 


在 式 (9.68) 的 基础 上 ,我 们 可 得 出 如 下 结论 : 
1) RIS 算法 集 平 均 学 习 曲 线 的 收敛 大 约 需 要 2M 次 迭代 ,其 中 M 是 滤波 器 长 度 。 这 意味 
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着 RLS 算法 的 收敛 速率 比 LMS 算法 快 一 个 数量 级 。 
2) 随 着 迭代 次 数 n 趋 于 无 限 , 均 方 误差 了 (nm) 趋 于 测量 误差 e。(n) 的 方差 oo。 换 名 话 
说 ,RIS 算法 理论 上 的 额外 均 方 误差 为 零 (也 就 是 零 失 调 )。 
3) RLS 算法 在 均 方 意义 上 的 收敛 性 独立 于 输入 向 量 ua(n) 集 平均 相关 矩阵 R 的 特征 值 。 
在 本 节 所 介绍 的 RLS 算法 收敛 性 分 析 中 , 均 假 设 指数 加 权 因 子 4 等 于 1( 即 算法 是 无 限 记 
忆 的 )。 正 如 本 节 的 开始 所 提 到 的 , 当 * 位 于 0<X<1 范 围 的 情况 ,将 在 第 14 章 中 讨论 。 


9.8 自 适应 均衡 的 计算 机 实验 


在 这 项 计算 机 实验 中 ,我 们 应 用 指数 加 权 因 子 + = 1 的 RLS 算法 ,设计 线性 离散 通信 信道 
的 自 适应 均衡 器 。 在 第 5.7 节 已 经 讨论 过 用 LMS 算法 解决 该 问题 的 情况 。 研 究 中 所 用 的 系统 
框图 如 图 9.5 中 所 示 。 系 统 中 使 用 两 个 独立 的 随机 数 发 生 器 ,一 个 用 x, 来 表示 ,用 来 测试 信 
道 。 另 一 个 用 (=) 来 表示 ,用 来 模拟 接收 器 中 加 性 白 噪 声 的 影响 。 序 列 x, 是 x, = +1 的 伯 
努 利 (Bermoulli) 序 列 , 随 机 变量 <, 具有 零 均 值 和 单位 方差 。 第 二 个 序列 v(n) 具 有 和 零 均值 ,其 
方差 of, 由 实验 中 需要 的 信 品 比 决定 。 均 衡器 有 11 个 抽 头 。 信 道 的 冲 激 响应 定义 为 


1 2m 
n= flee Gee) n= 1,2,3 
0 其 他 


其 中 , 歼 控 制 幅度 失真 的 大 小 ,因此 也 控制 信道 产生 的 特征 值 扩展 。 将 延迟 7 个 样 值 之 后 的 
信道 输入 x, 作为 均衡 器 的 期 望 响应 ( 详 见 第 5.7 节 )。 







随机 噪声 

发 生 器 (1) 
随机 噪声 
发 生 器 (2) 


图 9.5 计算 机 实验 用 自 适应 均衡 器 框图 


实验 分 为 两 部 分 :第 一 部 分 为 高 信 噪 比 的 情况 ,第 二 部 分 为 低 信 噪 比 的 情况 。 两 部 分 的 正 

则 化 参数 都 取 8 = 0.004( 因 这 里 取 A = 1, 故 第 9.4 节 中 所 介绍 的 按 不 同 信 噪 比 选择 6 的 方法 
在 这 里 并 不 适用 )。 

1) 信 了 噪 比 =30dB 当 信 品 比 固定 为 30 dB( 即 方差 o 等 于 0.001) 而 改变 亚 或 特征 值 扩散 

度 时 的 实验 结果 已 在 第 7 章 介 绍 ( 见 图 7.9)。 图 中 的 4 种 情况 分 别 对 应 于 参数 

W =2.9.3.1.3.3 和 3.5, 或 等 效 地 v (R) =6.0782、11.1238、21.7132 和 46.8216( 详 见 表 5.2)。 
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图 中 包括 LMS 算法 、DCT-LMS 算法 和 RIS 算法 的 学 习 曲 线 。4 种 不 同 特征 值 扩 散 度 
X(R) 的 RIS 算 法 的 一 组 实验 结果 如 图 9.6 所 示 。 为 便于 比较 , 当 步 长 参数 kw = 0.075 
时 LMS 算法 相应 的 一 组 结果 在 图 5.21 中 给 出 。 根 据 两 幅 图 中 的 结果 ,可 以 得 出 如 下 
结论 : 
e RIS 算法 大 约 经 过 20 次 迭代 即 收敛 ,大 约 是 横向 均衡 器 抽 头 数 的 两 倍 。 
@ 5 LMS 算法 的 收敛 性 相 比 , RLS 算法 的 收敛 性 对 特征 值 扩 散 度 X(R) 的 变化 相对 不 敏 
FR 
© RLS 算法 比 LMS 算法 收敛 快 得 多 。 
e RLS 算 法 所 获得 的 集 平均 平方 误差 的 稳 态 值 比 LMS 算法 小 得 多 ,这 证 实 了 我 们 前 面 所 
说 的 ;RLS 算法 至 少 在 理论 上 失调 量 为 零 。 
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迭代 次 数 n 
图 9.6 4 种 不 同 特征 值 扩 散 度 情况 下 RLS BRAY ACO = 0.004,4 = 1.0) 


将 图 9.6 所 示 的 结果 与 图 5.21 中 所 示 的 结果 进行 比较 ,可 以 清楚 地 看 出 RLS 算法 的 收 
SERF LMS 算法 ;但 是 ,要 达到 这 样 的 收敛 速率 , 必须 是 高 信 噪 比 情 况 。 当 信 噪 比 
不 很 高 时 ,RLS 算法 将 失去 这 一 优势 ,下 面 将 会 证 明 这 一 点 。 

2) 信 噪 比 =10dB 图 9.7 显示 丈 =3.1、 信 噪 比 = 10 dB 时 RLS 算法 和 LMS 算 法 ( 步 长 参 
数 u =0.075) 的 学 习 曲 线 。 在 所 关心 的 收敛 范围 内 ,可 以 看 出 RLS 算法 与 LMS 算法 以 
几乎 相同 的 方式 进行 学 习 , 两 种 算法 都 需要 约 40 次 的 迄 代 达到 收敛 。 但 对 于 信道 均 
衡 问 题 ,这 两 种 算法 都 不 能 获得 满意 的 结果 。 


1 1 1 
140 160 180 200 


第 9 章 递归 最 小 二 乘 自 适应 滤波 器 361 




















10! [ T T tT T T T T T T ] 
F 4 
| 
F 1 
44 
Kh 
R 10° 4 
B- ] 
g [| ] 
十 
RK F LMS ] 
| 
| 
RLS 1 
107° i L l l l i | L 1 
0 50 100 150 200 250 300 350 400 450 500 


ERKE n 
图 9.7 “4 W=3.1[ BIRER yR) = 11.1238] 和 SNR = 10 dB 时 RIS 算法 
(8 =0.004,4=1.0) 和 LMS 算 法 ( 步 长 参数 p = 0.075) 的 学 习 曲 线 


9.9 RLS 滤波 器 的 鲁 棒 性 


在 本 节 中 ,我 们 通过 讨论 RLS 滤波 器 对 影响 其 工作 的 干扰 的 鲁 棒 性 来 完成 这 一 类 滤波 器 
的 研究 。 在 第 5.10 节 中 ,我 们 已 经 讨论 过 A’ 理论 及 其 与 自 适应 滤波 器 鲁 棒 性 的 关系 ,并 用 它 
分 析 了 LMS 滤波 器 的 鲁 棒 人 性。 其 结论 总 结 如 下 :首先 , LMS 滤波 器 的 H” 范 数 独立 于 输入 数 
据 。 其 次 ,滤波 器 的 能 量 增益 不 会 超过 1。 这 种 鲁 棒 性 可 直观 地 说 明 如 下 :在 推导 LMS 滤波 器 
权 向 量 更 新 公式 时 ,没有 对 输入 数据 的 统计 特性 做 任何 假设 。 相 反 ,RILS 滤波 器 的 A” 范 数 与 
输 人 数据 有 关 。 此 外 ,在 输入 向 量 能 量 不 变 的 情况 下 , 当 正 则 化 参数 6 为 小 值 时 , RLS 滤波 器 
对 预测 误差 的 鲁 棒 性 较 差 。 

下 面 ,我 们 将 用 H” 理论 证 明 RLS 滤波 器 的 和 鲁 棒 性 (Hassibi & Kailath,2001) 。 

为 了 开始 此 项 工作 ,遵照 第 $.10 节 ,假设 可 测 数据 满足 多 重 回归 模型 

d(n) = w'u(n) + v(n) (9.69) 


其 中 w ERASME, y(n) SEAT ERS , C GFE ER PS AR EW BORE IF 
扰 源 的 于 扰 。 因 此 ,没有 对 v(n) 做 任何 统计 假设 。 

从 第 5.10 节 进一步 想起 ,任何 滤波 器 的 H” 范 数 都 是 从 干扰 到 估计 误差 的 最 大 能 = 
在 我 们 的 模型 中 ,干扰 有 两 个 :第 一 个 是 e(0) =w- w(0) , 它 是 权 向 量 初始 估 值 的 误差 ;多 
是 加 性 噪声 v(n)。 要 考虑 的 估计 误差 是 无 干扰 的 估计 误差 , 即 
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gu(n) = (w — W(n — 1))u(n) (9.70) 
它 不 同 于 LMS 滤波 器 的 情况 :用 w(n - 1) 代替 w(m) 是 为 了 与 本 章 介绍 的 RLS 理论 相 一 致 。 
相应 地 , &,(n) 与 v(n) 之 间 的 关系 为 
如 (2) = &(n) — x(n) (9.71) 
其 中 s(n) 是 先 验 估计 误差 。 


为 了 研究 RLS 滤波 器 的 鲁 棱 性 ,需要 计算 从 输入 干扰 到 估计 误差 的 最 大 能 量 增益 的 界 。 
为 了 得 到 这 些 界 , 引 用 如 下 引 理 ( 引 理 的 证 明 见 习题 9)。 


引 理 ”考虑 RLS 滤波 器 ,其 权 向 量 的 递归 更 新 公式 为 
w(n) = Wn — 1) + k(n)é*(n) 

HP k(n) =O (n)an) EAE. Rae EAE O(n) AA, H 
指数 加 权 因 子 a 等 于 1, 则 可 写 出 
m = e"(n — 1)@(n - 1)e(n — 1) + |o(n)/? (9.72) 
当 4=1 时 , 式 中 的 因子 r(n) 定 义 为 

r(n) =1 + un)® ln — 1)u(n) 

它 是 式 (9.42) 定 义 的 收敛 因子 Y(n) 的 倒数 。 
将 式 (9.72) 的 两 边 在 区 间 1< n <N 内 对 所 有 的 nn 求 和 ,再 消去 共同 项 ,从 而 得 


e” (n)®(n)e(n) + 


H N én)P _ H y 2 
e (N)®(N )e(N) + 之 TO © (O)@(O)e(0) + È pc) (9.73) 
在 RLS 滤波 中 FARE @(n) 初 始 化 为 
(0) = I 
AP o ERMC CEAS 9.3 = RINE BIERG- 73) 8 
eM(N)@(N)e(N) + $ Ee = 6le(OP + S book (9.74) 


式 (9.74) 的 右边 正 是 我 们 所 寻求 的 干扰 误差 能 量 。 然 而 ,左边 并 不 完全 是 估计 误差 能 量 。 为 
了 找 出 估计 误差 能 量 ,需要 应 用 一 些 技巧 。 首 先 ,我 们 注意 到 ,如 果 定 义 


r= max r(n) 
则 可 将 式 (9.74) 改 写 为 不 等 式 的 形式 
N N 
eA(N)BN)e(N) +> Dem) <ale(OF + > b(n? (9.75) 


或 者 更 简单 地 写 为 


N N 
;SPS oleOF + D pf 


n 
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由 式 (9.71) ,我 们 有 
&(n) = E,(n) + x(n) 
从 而 
LS lem + x(n)? < de (0)? + > ZO (9.76) 
为 了 分 离 出 估计 误差 能 量 ,我 们 注意 到 ,对 任意 "> 0, 有 
la + b} > (4 - L) ~- (1 = a)|b? 


其 中 a 和 4b 是 任意 的 变量 对 。 邻 a = &(n),b=v(n), 将 此 不 等 式 用 于 式 (9.76) ,经 整理 可 得 


1 
1 一 二 , Ag 
一 一 Zl < ôlle (0)? + (1 + PZO (9.77) 
这 里 , 现 已 分 离 出 了 无 干扰 估计 误差 能 量 项 N11&(n)1。 式 (9.77) 的 两 边 同 除 以 


G-E RE a> 1, 可 得 








+ bo 


7 leoOFP + 


È ZOIR 


a 


aT BBID IE (a) P 的 尽 可 能 “最 紧 " 的 界 ,在 。 > 1 的 情况 下 ,我 们 对 上 述 不 等 式 中 
SY ,ly(m)12 的 系数 进行 最 小 化 。 实 际 上 ,不 难 证 明 
min( += Ve) = (1+V7) 以 及 agmin( + (TF De) 1 yz 
应 用 这 一 结果 ,可 继续 写 出 
3 lem? <2 — leo)? + (1 + ViPS boo 
1+ VF 
= Vil + Vi)sle(OF + (1 + VAP Yb) 


< (1+ VPR 人 (ale(OP+ Shoo ) 
于 是 ,我 们 得 到 RLS 滤波 器 能 量 增益 的 界 如 下 
Seem? 

ale(OP+ D pf 





<(1 + VF? (9.78) 


因 该 不 等 式 对 所 有 的 干扰 都 成 立 , 故 有 
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N 

È lé ， 
(SUP, 人 | + V7) (9.79) 
d|/e(0)|)* + > b(n) 


这 就 是 我 们 要 求 的 RLS 滤波 器 最 大 能 量 增益 (或 8" 范 数 ) 的 上 界 。 

在 第 5.10 节 中 ,获得 LMS 滤波 器 最 大 能 量 增益 下 界 的 方法 是 :构造 一 个 合适 的 干扰 信号 
并 计算 它 的 能 量 增 益 。 这 样 做 的 理由 是 ,任何 干扰 信号 的 能 量 增益 也 适合 作为 最 大 能 量 增益 
( 即 最 差 情 况 ) 的 下 界 。 对 于 RLS 滤波 器 ,我 们 将 采用 类 似 的 方法 。 

为 此 ,应 该 注意 到 ,人 们 总 能 够 选择 干扰 序列 vn) ,使 得 不 等 式 (9.75) 成 立 :我 们 需要 做 
的 是 选择 (nË Eln) = &,(n) +v(n) 等 于 零 ,只 有 了 = max, r(n) 这 一 时 刻 除外 。 另 外 ,我 们 
总 可 以 选择 w, 使 得 g(N) =w-W(N) =0。 用 {到 ,v(n)} 表 示 这 种 特殊 的 干扰 信号 ,于 是 ,由 
式 (9.74) 可 以 写 出 





~| =e 


3 


> lé(n) + (n)? = Sha(o)P + È pon? (9.80) 


=1 


其 中 新 的 初始 条 件 (0) 对 应 于 选择 下。 现在 我 们 着 手 考 虑 与 上 述 上 限 对 侦 的 问题 。 如 此 ,对 
所 有 的 a >0, 有 


1 
la + b? < (1 + i)a? + (1 + a)|b? 


S a= (nn),b=v(n), 将 这 个 不 等 式 用 于 式 (9.80) ,经 整理 可 得 
1 


1+= 5 
SE eo + (1 - 





N 
=) Sf 
不 等 式 的 两 边 同 除 以 (1+ 二)/7, 可 得 


N 2 
之 én)| > 





&(0)| + 
1+ 二 
a 


为 了 得 到 2 IE n) ? 的 尽 可 能 “最 紧 " 的 界 ,在 a > 0 的 情况 下 ,对 上 述 不 等 式 右边 
2115(n)1* 的 系数 进行 最 大 化 。 实 际 上 ,不 难得 到 


mip( Ee) = (VF -17 以 及 arg mip( = +- ve =VF-1 


atl a>0 at+l 


将 此 结果 用 于 式 (9.81) ,于 是 得 到 
SOP + (VF -17 È pof 
tV- 
= VEVE = DlaOF + (Vi - 17 È pn 


-@ +a(F-1) X a2 
a +i 之 区 (| (9.81) 








>(VF - BEO + Spon!) 
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因此 ,对 于 这 个 特殊 的 干扰 信号, 我们 得 到 RLS 滤波 器 能 量 增益 的 下 界 为 
N 
> lé.(n)/? 


(VF T 1) < N 
ôE (0)||? + > LPP 





因为 任何 干扰 的 能 量 增益 是 最 大 能 量 增益 的 下 界 ,显然 有 
> 长 (oO 





(VF — 1) < sup, A (9.82) 
' slie (0)? + > o(n)| 
结合 式 (9.79) 和 式 (9.82) ,我 们 得 到 所 期 望 的 RLS 滤波 器 H TERE PRY 
> lén) 
(VF -1< sup cl <(VF +17 (9.83) 





EN Sle + E pP 


n=1 
据 此 ,有 关 RLS 滤波 器 鲁 棒 性 的 一 些 要 点 可 归纳 如 下 ; 


e 式 (9.83) 中 获得 的 上 、 下 界 , 相 对 来 说 比较 紧 ( 特 别 是 当 F 较 大 时 ) ,因为 它们 只 相差 2， 
RF+1) - (V7 -1) =2。 

© 与 LMS 滤波 器 不 同 , 式 (9.83) 中 的 最 大 能 量 增益 可 以 超过 1, 这 意味 着 RLS 滤波 器 会 将 
于 扰 信号 放大 。 因 此 ,一般 说 来 , 它 对 干扰 变化 的 鲁 棒 性 比 LMS 滤波 器 差 。 

o 与 LMS 滤波 器 不 同 , 这 里 的 最 大 能 量 增益 与 输入 数据 有 关 ,因为 界 取决 于 了 = max,[1+ 
u"(n)@'(n-1)u(n)], EC SREAK. Alb, RLS 滤波 器 的 鲁 棒 性 取决 于 自身 的 输 
人 数据 集 。 

9 ERS) r>r(0)=1+67' 1a(0) 12。 因此 ,可 将 下 界 简化 为 


È leo? 
õlle (0)|? + Def 


此 式 清楚 地 表明 ,正则 化 参数 6 越 小 , RLS 算法 的 鲁 棒 性 越 差 (这 一 结论 使 人 联想 到 
LMS 滤波 器 的 性 能 与 步 长 参数 p 的 关系 )。 

@ 当 4=1 时 ,注意 到 O(n) = SI+ UM uli) a" (让 是 一 个 非 衰 减 的 矩阵 序列 。 特 别 是 ,对 
所 有 的 n, 有 虽 (n)<61。 这 样 ,如 果 输 入 向 量 对 所 有 的 n 为 常量 | u(r) |]? = loll’, 
则 有 


(V1 + &ju(0)]? — 1f < sup 


w,veH? 





<(V1 + sul? + 1% 





N 
E lé? 
(V1 + tlu? -1) < sup ， “=I 


men \aleOP E of 
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9.10 本 章 小 结 


本 章 导 出 了 递归 最 小 二 乘法 (RLS) ,作为 最 小 二 乘法 的 一 种 自然 推广 。 推 导 过 程 基 于 甜 
阵 代 数 中 的 一 个 矩阵 求 道 引 理 。 

RLS 算法 与 LMS 算法 的 基本 差别 如 下 :LMS 算法 中 的 步 长 参数 /被 四 (nr) BANE 
u(n) 的 相关 算 阵 的 逆 ] 代 替 , 它 对 抽 头 输入 有 白化 作用 。 这 一 改进 对 平稳 环境 下 RLS 算法 的 
收敛 性 能 有 如 下 深刻 的 影响 : 

1) RLS 算法 的 收敛 速率 比 LMS 算法 快 一 个 数量 级 。 

2) RLS 算法 的 收 伍 速 率 不 随 输 入 向 量 am) 集 平均 相关 和 矩阵 R 特征 值 的 扩散 度 ( 即 条 件 

数 ) 而 改变 。 

3) 随 着 迭代 次 数 n 趋 于 无 限 ,RILS PEM BURA J’. (n) MRF EF., 

这 里 总 结 的 是 , SBOE A= 1 RLS 算法 应 用 于 平稳 环境 的 情况 。4 关 1 的 情况 
将 在 第 14 章 考虑 。 那 时 我 们 将 会 看 到 ,性 质 1 和 性 质 2 依然 成 立 ,但 是 额外 均 方 误差 S aln) 
不 再 为 零 。 不 管 怎样 , RILS 算法 中 均 方 误差 了 (mn) 的 计算 都 是 基于 先 验 估计 误差 sm) 的 。 

本 章 介绍 的 另 一 个 重要 研究 结果 是 ,与 LMS 滤波 器 不 同 ,RLS 滤波 器 在 H 意义 上 的 鲁 棱 
性 与 数据 有 关 。 特 别 地 , 当 输 入 向 量 能 量 固定 时 ,RLS 滤波 器 相对 于 较 小 正则 化 参数 8 时 预测 
误差 的 鲁 棒 性 较 差 。 


9.11 习题 


1. 为 了 递归 实现 最 小 二 乘法 , 窗 函 数 或 加 权 函 数 8(n,i) 必 须 具有 合适 的 结构 。 假 定 
B(n,i) = A(DB(n,i-—1) i=1,...,n 
其 中 B(n, n) = 1。 证 明 
A(n,i) = TL) 
要 得 到 Cn, i) =A, A Ck ABATA ÉR? 
2. WEARERS PEAY IE AE. 


3. 考虑 相关 矩阵 
Bln) = u(n)u” (n) + ôl 


其 中 ,n(n) 是 抽 头 输入 向 量 ,6 是 一 个 小 的 正常 数 。 用 和 矩阵 求 逆 引 理 计算 P(n) = O(n). 
4. 本 题 考虑 第 9.6 节 曾 讨论 过 的 示例 , 即 单一 权 值 自 适应 噪声 消除 器 (如 图 9.3 所 示 )。 定 义 
加 权 误 差 为 


e(n) = w, — wn) 
其 中 w(n) 是 未 知 参数 w, MB). TE s(n) 的 时 间 更 新 满足 以 下 递归 方程 
E(n)=a(n)e(n-1)+k(n)e, (n) 
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其 中 k(n) 是 RLS 算法 的 增益 因子 ,e,(n) 是 零 均值 的 白 噪声 ,a(n ) 是 一 个 时 变 的 正 参数 ， 
且 对 所 有 的 n, 其 值 都 小 于 1。 回 答 如 下 问题 ;a(n) 的 计算 公式 是 什么 样 的 ?从 递归 方程 
式 中 可 以 得 出 什么 结论 ? 

5. 根据 式 (9.25) ,证 明 加 权 误 差 向 量 

e(n) = wo 一 W(n) 

可 用 式 (9.50) 表 示 。 

6. 对 于 RLS 算法 ,给 定 第 9.3 节 的 初始 条 件 , 且 当 ”= 1 时 后 验 估计 误差 e(n) 的 均 方 值 较 小 ， 
然后 随 着 n 的 增加 而 变 大 。 试 解释 其 原因 。 

7. 在 基础 方面 ,RLS 滤波 器 不 同 于 LMS 滤波 器 :LMS 滤波 器 中 的 步 长 参数 jy 被 RLS 滤波 器 中 
的 道 相关 和 矩阵 D (n RE. 
(a) 证 明 这 一 代替 对 RLS 滤波 器 具有 自 正 交 化 作用 ， HT 以 表示 为 


Fle(m]~(1~4)efem- D] 对 于 大 
其 中 


e(n) = w, — W(n) 
推导 中 可 用 第 9.7 节 的 假设 AR I o 
(b) 根据 (a) 中 的 结果 ,区 分 RLS 滤波 器 与 第 6.4 节 讨 论 的 自 正 交 化 自 适 应 滤波 器 之 间 的 不 
同 。 
8. 在 本 题 中 ,我 们 利用 复 维 萨 特 分 布 (附录 G) 来 研究 应 用 于 阵列 信号 处 理 的 RLS 滤波 器 的 收 
SE. (Rik: 
1. 构成 阵列 的 N 个 传感器 在 输出 端的 观测 值 下, a). uy 是 独立 同 分 布 的 。 
2. 测量 数据 服从 多 元 高 斯 分 布 ,该 随机 过 程 的 均值 为 零 . 集 平均 相关 矩阵 为 Ro 
(a) 利用 复 维 萨 特 分 布 得 到 期 望 值 


E[®"(n)] = “Ro 
(b) 利用 (a) 中 的 结论 ,导出 在 前 述 两 条 假设 下 ,RLS 算法 均 方 偏差 的 表达 式 。 
9. 在 本 题 中 ,我们 证 明 当 指数 加 权 因 子 = 1 时 第 9.9 节 介 绍 的 RLS 滤波 器 的 引 理 。 从 RLS 
滤波 器 的 递归 方程 
Wn) = Wn — 1) + Pn)u(n)é*(n) 
出 发 ,导出 递归 方程 式 (9.72) , 式 中 涉及 加 权 误 差 向 量 
e(n) =w- W(n) 


其 中 w 是 式 (9.69) 定 义 的 多 重 回 归 模 型 的 权 向 量 。 
计算 机 实验 


10. 第 5 章 中 的 习题 21 是 应 用 LMS 算法 设计 一 个 二 阶 自 回归 过 程 的 线性 预测 器 。 试 用 RLS 
算法 ,重复 该 题 中 (b) ~ (e) 的 计算 机 实验 。 
11. 在 本 题 中 ,我 们 重新 探讨 第 5 章 习 题 22 关于 自 适 应 均衡 的 计算 机 实验 。 该 处 描述 的 问题 
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包含 两 个 部 分 。 现 重 做 这 两 个 部 分 :(a) 验 证 信道 输入 与 自 适 应 横向 均衡 器 期 望 响应 之 间 
的 延迟 A 与 所 用 的 自 适应 算法 无 关 ;(b) 改 用 正则 化 参数 $ = 0.005 的 RLS 自 适 应 算法 重 
做 该 题 中 的 (b) 部 分 ， 

12. 第 5 章 的 习题 24 是 将 LMS 算法 用 于 研究 MVDR 波束 形成 器 。 试 用 RLS 算法 ,重复 该 计算 
机 实验 。 


第 10 章 卡尔 曼 滤波 器 


本 章 回 到 第 2 章 维 纳 滤波 器 中 曾经 讨论 过 的 线性 最 优 滤波 问题 。 特 别 是 ,我 们 将 研究 卡 
尔 曼 滤波 器 (Kalman,1960) 的 基本 思想 。 卡 尔 坚 滤波 器 的 一 个 显著 特点 是 ,用 状态 空间 概念 来 
描述 其 数学 公式 。 卡 尔 曼 滤 波 器 的 另 一 个 新 颖 特点 是 , 它 的 解 是 递归 计算 的 ,而 且 可 以 不 加 修 
改 地 应 用 于 平稳 和 非 平 稳 环 境 。 尤 其 是 ,其 状态 的 每 一 次 更 新 估计 都 由 前 一 次 估计 和 新 的 输 
入 数据 计算 得 到 ,因此 只 需 存储 前 一 次 估计 。 除 了 不 需要 存储 过 去 的 所 有 观测 数据 外 ,卡尔 曼 
滤波 器 计算 上 上 比 直接 根 据 滤波 过 程 中 每 一 步 所 有 过 去 数据 进行 估 值 的 方法 都 更 加 有 效 。 

人 们 关注 卡尔 曼 滤 波 器 的 主要 动因 是 基于 如 下 事实 :卡尔 曼 滤 波 器 为 递归 最 小 二 乘 滤波 
器 族 提 供 了 一 个 统一 的 框架 。 递 归 最 小 二 乘 (RLS) 滤 波 器 族 包 括 以 下 内 容 : 

© 标准 RLS 滤波 器 (第 9 章 ) 

o 平方 根 RIS 滤波 器 (第 11 章 ) 

e 阶 递归 RLS 滤波 器 (第 12 章 ) 


我 们 将 从 一 个 标量 随机 变量 的 简单 例子 出 发 ,通过 求解 该 例子 所 表示 的 递归 最 小 均 方 佑 
计 问 题 来 开始 本 章 的 讨论 。 


10.1 标量 随机 变量 的 递归 最 小 均 方 估计 


假设 从 时 刻 1 开始 一 直观 测 到 时 刻 n - 1( 含 n -1 时刻 ), 观 测 到 的 一 组 随机 变量 为 
y(1),y(2),…,y(n 一 1) ,而 与 它们 有 关 的 某 零 均值 随机 变量 x(n- 1) 的 最 小 均 方 估计 为 
Rn 119,_!)。 这 里 ,假设 n = 0 时 刻 ( 或 此 刻 之 前 ) 的 观测 值 为 0; 由 观测 值 y (1),…， 
y(n -1) 张 成 的 空间 用 外, 表示 。 假设 现在 还 有 另外 一 个 时 刻 的 观测 值 ,而 要 求 是 计算 随机 
变量 的 更 新 估 值 4(n IY) ,其 中 尽 , 表示 由 y(1) ,… ,y(n) 张 成 的 空间 。 我 们 可 以 通过 存储 过 
去 的 观测 值 y(1) ,y(2),… ,y(n -1) ,然后 用 包括 新 观测 值 在 内 的 所 有 可 用 数据 y(1),y(2)， 
… ,y(n 一 1) ,y(n) 重 解 这 一 问题 来 完成 计算 。 然 而 ,如 果 采 用 递归 估计 过 程 ,其 计算 效率 要 高 
得 多 ,因为 这 种 方法 只 存储 前 一 个 估 值 Cn - 119.1), 并 利用 它 以 及 新 观测 值 计算 更 新 的 信 
值 i Cn,)。 推 导 这 种 递归 估计 算法 的 方法 有 几 种 。 我 们 将 利用 “新 息 ” 概 念 (Kailath, 1968, 
1970) , 它 的 起 源 可 追溯 到 Kolmogorov (1939) 的 研究 结果 。 

定义 前 向 预测 误差 

faln) = y(n) — Hn | Yt) n= 1,2,... (10.1) 


其 中 了 (nl 旬 ,_1) 是 用 n-1 及 其 之 前 的 所 有 观测 值 ,对 n 时 刻 观测 到 的 随机 变量 y(Cnm) 所 做 的 
一 步 预测 。 估 计 中 用 到 的 过 去 观测 值 为 y(1),y(2),…, y(n -1), 故 预测 阶 数 为 n -1 阶 。 我 
们 可 将 大,(n) 看 做 滤波 器 输入 为 时 间 序列 y(1) ,7y(2)，…y(Ca-UD 时 nm-1 阶 前 向 预测 误差 
滤波 器 的 输出 。 注 意 ,预测 阶 数 n - 1 随 着 n 线性 增长 。 根 据 正 交 性 原理 ,预测 误差 -1(n) 
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应 与 过 去 所 有 的 观测 值 y(1),y(2),…, y(n -1) 正 交 , 故 可 看 做 是 n 时 刻 观 测 的 随机 变量 
y(n) 中 所 含 新 信息 的 一 个 度量 ,因而 叫做 “新 息 ”。 事 实 上 ,观测 值 y(n ) 携 带 的 并 不 全 是 新 信 
息 , 因 为 可 预测 部 分 y(n1 久 ,-1) 完 全 由 过 去 的 观测 值 y(1),y(2),…,y(n - 1) 确定。 确切 地 
说 ,观测 值 y(n) 中 真正 “新 ”的 部 分 包含 在 前 向 预测 误差 f_1(n) 中 。 因 此 ,可 以 将 这 个 预测 误 
差 称 为 “新 息 ”, 为 表示 方便 , 记 为 
a(n} =f, i(n) n= 1,2,... (10.2) 
新 息 e(z) 具 有 一 些 重要 的 特性 , 现 叙 述 如 下 : 
性 质 1 与 观测 随机 变量 y(n) 有 关 的 新 息 a(n) 与 过 去 观测 值 y(1),y(2),…,y(n-1) 
JE , Bp 
Ela(n)y*(k)] =0 1<k<n-1 (10.3) 
这 是 正 交 性 原理 的 一 种 简单 表示 。 
性 质 2 新 息 a(1),a(2),…,a(n) 彼 此 正 交 , 即 
Ela(n)a*(k)|=0 1<k<n-1 (10.4) 
这 是 下 式 [ 见 第 3 章 习 题 20(e)] 
Elf,s(n)fia(k)] =0 1<k<n-1 
的 男 一 种 表示 。 实 际 上 , 式 (10.4) 表 明 , 式 (10.1) 和 式 (10.2) 表 示 的 新 息 过 程 a(n) 是 白色 的 。 
性 质 3 观测 数据 {y(1),y(2),…,y(n)| 与 新 息 ia(1),a(2),…,a(n)| 之 间 存 在 一 一 对 
应 的 关系 。 因 为 借助 因果 可 送 滤 波 器 ,可 以 由 一 个 序列 得 到 另 一 个 序列 ,而 不 会 丢失 任何 信 
息 。 于 是 可 以 写 为 
{y(1), y(2),..., x(t) } == {a(1), a(2),..., a(n)} (10.5) 


为 了 证 明 这 个 性 质 ,我们 应 用 Gram-Schmidt 正 交 化 过 程 ( 详 见 第 3 章 )。 该 过 程 假设 ,观测 值 
7y(1),y(2),… ,y(n) 在 代数 意义 上 是 线性 独立 的 。 首 先 令 


a(1) = y(1) (10.6) 
其 中 假定 y(119。) 为 0。 其 次 , 令 
a(2) = y(2) + Gay 人 (ID) (10.7) 
选择 系数 ci,: 使 得 新 息 a(1) 与 a(2) 正 交 , 即 
E[a(2)a*(1)] = 0 (10.8) 
KE ESR RIT, al 应 选 为 


如 果 不 考 虑 负 号 , ol 是 一 个 偏 相关 系数 (partial correlation coefficient), 因为 它 等 于 观测 值 y(1) 
和 y(2) 的 互相 关 并 对 y(1) 的 均 方 值 进行 归 一 化 。 
其 次 ,再 令 
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a(3) = y(3) + aly(2) + dzy(1) (10.10) 


其 中 系数 ax: 和 az 的 选择 ,应 使 得 a(3) 与 a(1) 和 a(2) 都 正 交 , 依 此 类 推 。 因 此 ,一 般 来 说 ， 
可 以 通过 


a(1) 1 0 = 0 Jf yQ) 
al ) — ?1 1 7 ° 2) (10.11) 
a(n) ân-1,n-1 Un—1,n—2 o 1 y(n) 


将 观测 数据 y(1),y(2),… ,y(n) 变 换 为 新 息 a(1),a(2),…,a(n)。 式 (10.11) 右 边 下 三 角 变 
换 和 矩阵 中 第 不行 的 非 零 元 素 表 示 为 wiiar 1, 其 中 有 =1,2,…n。 这 些 元 素 代表 
k-1 阶 前 向 预测 误差 滤波 器 的 系数 。 注 意 , 对 所 有 的 有, a;,o。 = 1。 因 此 ,给 定 观测 数据 y(1)， 
y(2),…,y(n), 就 可 以 计算 出 新 息 a(1),a(2),…,a(n)。 在 变换 过 程 中 没有 信息 a (1)， 
a(2),…,a(n) 损 失 , 关 为 我 们 可 以 从 新 息 中 恢复 出 原始 的 观测 数据 y(1),y(2),…, y(n)。 
恢复 时 只 要 将 式 (10.11) 的 两 边 前 乘 下 三 角 变换 矩阵 的 逆 阵 即 可 。 该 变换 矩阵 是 非 奇 异 阵 , 因 
为 对 所 有 的 n 其 行列 式 的 值 都 为 1。 因此 ,该 变换 是 可 道 的 。 
于 是 ,由 式 (10.5) 可 以 写 出 

“(nlY,) = 给 定 观 测 数据 y(1) ,y(2),… ,y(n) 时 x(n) 的 最 小 均 方 估计 
或 等 效 地 

a(nlY¥,) = 给 定 新 息 a(1) ,a(2),…,a(n) 时 x(n) 的 最 小 均 方 估 计 
将 估计 x(n1Y,) 定 义 为 新 息 a(1) ,a(2),…,a(ln) 的 线性 组 合 


£(n|%,) = S balk) (10.12) 


其 中 ,Bb 是 待定 量 。 因 新 息 a(1),a(2),…,a(n) 相 互 正 交 , 故 可 选择 b, 使 估计 误差 
x(n) -x(n1 凶 ,) 的 均 方 值 为 最 小 ,于 是 有 
E[x(n)a*(k)] 


和 “可 ae] 1sk<sn (10.13) 


¥esR (10.12) P k= n 的 项 分 离 出 来 , 式 (10.12) 可 重 写 为 
£(n|%,) = S balk) + B,a(n) (10.14) 


其 中 
E[x(n)a*(n)] 


b = —— 
"= Fha(n)a*(n)] (10.15) 


然而 ,由 定义 可 知 , 式 (10.14) 右 边 的 求 和 项 等 于 前 一 估计 x(n - 1I9%,。:)。 因 此 ,可 将 我 们 所 
寻求 的 递归 估计 算法 表示 为 


Sn, Y.) = Hn — 1|Y,4) + bra(n) (10.16) 
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其 中 b, 由 式 (10.15) 定 义 。 这 样 ,通过 对 前 一 估计 x(n 一 11 包 ,-1) 加 上 一 个 与 新 息 a(n) RIE 


比 的 修正 项 ba(n), 就 可 以 得 到 更 新 的 估计 x(n1%Y,)。 
式 (10.1)、 式 (10.3), 式 (10.15) 和 式 (10.16) 表 明 , 递 归 最 小 均 方 误差 估计 器 的 基本 结构 是 


预测 器 -修正 器 ,如 图 10.1 所 示 。 这 一 结构 包含 两 步 ， 


© 利用 观测 值 计算 称 为 “新 息 ” 的 前 向 预测 误差 。 
o 利用 新 息 更 新 ( 亦 即 修正 ) 与 随机 变量 的 观测 值 线性 相关 的 最 小 均 方 估计 。 


时 间 更 新 : 测量 更 新 : 


观测 值 >(7) AREH x(n) 
的 单 步 预测 估 值 的 修正 





图 10.1 用 预测 器 - 修正 器 递归 描绘 最 小 均 方 估计 问题 的 求解 过 程 
有 了 图 10.1 所 示 的 简单 而 又 有 效 的 结构 描述 ,很 容易 研究 更 一 般 的 卡尔 曼 滤波 问题 。 


10.2 卡尔 曼 滤 波 问 题 


考虑 图 10.2 中 用 信和 号 流 图 表示 的 线性 动态 离散 时 间 系 统 。 图 中 给 出 的 系统 时 域 描述 有 
以 下 优点 (Gelb,1974) : . 

@ 数学 上 和 表示 上 方便 

9 与 物理 过 程 关系 密切 


© 它 是 分 析 原 系统 统计 特性 的 有 用 基础 
过 程 方程 测量 方程 





x(n) y(n) 







| ,| 
Gee F(a + 1,n) < SEE 


图 10.2 线性 动态 离散 时 间 系 统 的 信号 流 图 表示 


“状态 "的 概念 是 这 种 表示 的 基础 。 状 态 向 量 ,或 简单 地 说 状态 [在 图 10.2 中 用 x(n) 表 
AB] ,定义 为 数据 的 最 小 集合 ,这 组 数据 足以 惟一 地 描述 系统 的 自然 动态 行为 。 换 句 话说 ,状态 
由 预测 系统 未 来 特性 时 所 需要 的 .与 系统 的 过 去 行为 有 关 的 最 少数 据 组 成 。 典 型 地 , 比较 有 代 
表 性 的 情况 是 ,状态 x(n) (假设 为 M 维 ) 是 未 知 的 。 为 了 估计 它 ,我 们 使 用 一 组 观测 数据 ,在 


测量 过 程 


v2(n) 
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图 中 用 向 量 y(n) 表 示 。y(n) 称 为 观测 向 量 或 简称 观测 值 ,并 假设 它 是 N 维 的 。 
在 数学 上 ,图 10.2 表示 的 信号 流 图 隐 合 着 以 下 两 个 方程 ; 


(1) 过 程 方程 
x(n + 1) =F + 1,n)x(n) + vi(n) (10.17) 
AF, M x1 HE v (ARR, RAS AR ee, Be 
义 为 


Qin) n=k 


E[v,(n)vi(k) | = {2 nék (10.18) 


过 程 方程 (10.17) 将 状态 x(n) 所 表示 的 末 知 随机 物理 现象 建 模 为 线性 动态 系统 在 白 
噪声 vy,(n) 激 励 下 的 输出 ,如 图 10.2 左边 所 示 。 该 线性 动态 系统 可 由 两 个 单元 的 反 
馈 连 接 惟 一 表征 ,它们 分 别 是 :用 F(n + 1,m) 表 示 的 转移 矩阵 和 用 z-'I 表 示 的 存储 
单元 ,其 中 z ! 是 单位 延 时 ,I 是 M x M 单位 阵 。 转 移 和 矩阵 F(n + 1,m) 表 示 从 n 时刻 
Ajn +1 时刻 系统 的 转移 ,上 且 具有 如 下 性 质 : 
a) 乘法 规则 

F(n, m) Fim, 1) = F(n, l) 


其 中 i、m Ain 为 整数 。 

b) 求 逆 规则 
Fi(n,m) = F(m, n) 

其 中 m 和 为 整数 。 

从 上 面 两 条 规则 容易 看 出 
F(n,n) =I 
还 可 以 看 出 ,如 果 图 10.2 所 示 的 系统 是 静态 的 ， AREER F(n+1, ARR. 
(2) 测量 方程 ”该 方程 将 观测 向 量 表示 为 
y(n) = C(n)x(n) + v(n) (10.19) 


其 中 C(n) 是 已 知 的 Nx M 测量 矩阵 。N x 1 向 量 Y2(n) 称 为 测量 噪声 ， 建 模 为 零 均 
值 的 白 噪声 过 程 ,其 相关 和 矩阵 为 


Elv(n)vi(k)]| = 


{om n=k (10.20) 


nétk 


测量 方程 (10.9) 确 立 了 可 测 系统 输出 y(n) 与 状态 x(n) 之 闻 的 关系 ,如 图 10.2 右边 
所 示 。 
假设 状态 初始 值 x(0) 与 v,(n) 和 vy,(n)(n 宇 0) 都 不 相关 。 品 声 向 量 v,(n) 和 v,(n) 相 互 
统计 独立 ,于 是 有 
E[vi(n)vi(k)] =O ”对 所 有 nn 和 (10.21) 


卡尔 曼 滤 波 问 题 , 即 以 某 种 最 优 方式 联合 求解 未 知 状态 过 程 方程 和 测量 方程 的 问题 , 现 可 
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以 规范 地 描述 为 : 
利用 所 有 由 观测 值 y(1),y(2),… ,y(n) 组 成 的 观测 数据 ,对 所 有 的 m 关 1, 寻 找 状态 x(i) 
的 最 小 均 方 估计 。 
若 i = mn, 该 问题 称 为 滤波 ; 若 i> n, 称 为 预测 ; 若 1< i < n, 则 称 为 平 消 。 本 章 中 ,我 们 只 考虑 
滤波 和 预测 ,它们 是 密切 相关 的 。 


10.3 新 息 过 程 


为 了 求解 卡尔 曼 滤波 问题 ,我们 将 应 用 基于 新 息 过 程 (innovations process)? 的 方法 。 根 据 

第 10.1 节 中 引入 的 新 息 的 概念 ,用 向 量 了 (nl 包 。;, ) 表 示 n= 1 时刻 到 m- 1 时 刻 ( 含 mn- 1 时 

刻 ) 所 有 观测 数据 过 去 值 给 定 的 情况 下 , n 时 刻 观 测 数据 y(n) 的 最 小 均 方 估计 。 过 去 的 值 用 

观测 值 y(1) ,y(n),… ,y(n - 1) 表示, 它们 张 成 的 向 量 空间 用 旬 ,-; 表示。 根据 式 (10.1) 和 式 
(10.2) ,将 y(n) 所 对 应 的 新 息 过 程 定义 为 

a(n) = y(n) 一 和 al9 n=1,2,... (10.22) 


其 中 M x1 向量 a(n) 表 示 观 测 数据 y(n) 中 新 的 信息 。 
如 将 式 (10,3)、 式 (10.4) 和 式 (10.5) 的 结果 推广 ,可 发 现 新 息 过 程 具有 如 下 性 质 : 


1) 和 了 时刻 观测 数据 y(n) 有 关 的 新 息 过 程 a(n) 与 所 有 过 去 观测 值 y(1),y(2),…， 


y(n—-1), BO 
E[a(n)y*(k)| = 0 1<k<n-1 (10.23) 
2) 新 息 过 程 由 一 系列 随机 向 量 组 成 ,它们 相互 正 交 , 即 
Elana” (k) =O 1<k<n-1 (10.24) 


3) 表示 观测 数据 的 随机 向 量 序列 ty(1) ,y(2) ,…,y(n)} 与 表示 新 息 过 程 的 随机 向 量 序列 
1g(1) ,a(2),…,a(n)| 之 间 存 在 一 一 对 应 关系 ,因为 借助 于 稳定 的 线性 算 子 可 以 从 一 
个 序列 得 到 另 一 个 序列 ,而 不 丢失 任何 信息 。 因 此 ,可 以 得 出 如 下 关系 
{y(1), (2),..., y(n)} = {ol1), «(2),.…, a(n)} (10.25) 
为 了 生成 定义 新 息 过 程 的 随机 向 量 序列 ,我们 应 用 Gram-Schmidt 正 交 化 过 程 ,这 与 第 10.1 
节 中 的 过 程 相 似 , 不 同 之 处 只 是 现在 是 按照 向 量 和 甜 阵 表示 该 过 程 的 (见习 题 1)。 





四 “由 卡尔 曼 (Kalman) 本 人 经 典 论文 (1960) 介 绍 的 卡尔 曼 滤波 器 推导 是 基于 正 交 投 影 定理 的 。 对 于 标量 随机 变量 的 情 
况 ,该 定理 可 以 描述 如 下 (Doob,1953; Kalman , 1960) : 
A x(n) 和 y(n) 表示 零 均值 标量 随机 过 程 , 即 
Elx(n)]= ELy(n)l=0 对 于 所 有 n 
假设 给 定 观 测 到 的 随机 变量 y(1),y(2),…, y(n), 并 设 以 下 条 件 之 一 成 立 : 
G) 随机 过 程 x(n) 和 和 y(n) 是 高 斯 过 程 ,或 
GD 限制 最 优 估计 是 观测 到 的 随机 变量 的 线性 函数 ,代价 函数 定义 为 x(n) 与 其 估 值 之 差 的 均 方 值 。 
那么 ,给 定 观测 数据 y(1) ,y(2),…,y(n),x(m) 的 最 优 估 计 是 *(m) 在 由 这 些 观测 值 所 张 成 的 线性 空间 QU 。 上 的 正 
交 投 影 。 与 卡尔 曼 的 推导 方法 不 同 , 这 里 介绍 的 卡尔 曼 滤波 器 是 根据 Kailath(1968,1970) 提 出 的 新 息 方法 推导 的 。 
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10.3.1 新 息 过 程 的 相关 和 拖 阵 
为 了 确定 新 息 过 程 w(m) 的 相关 矩阵 ,首先 递归 地 求解 状态 方程 (10.17) ,从 而 得 到 


k-1 
x(k) = F(k,0)x(0) + 2 F(k,i + 1)v1(i) (10.26) 
这 里 用 到 了 转移 矩阵 的 乘法 规则 以 及 以 下 两 点 假设 : 


1) 状态 初始 值 是 x(0); 
2) 当 ”<0 时 ,观测 的 数据 以 及 噪声 向 量 v (m) 均 为 零 。 


式 (10.26) 表 明 x(k) FE x(0) 与 v (1), O) en (k- DMR. 


根据 假设 ,测量 噪声 向 量 ">(=) 与 初始 状态 向 量 x(0) 和 过 程 品 声 向 量 v, (= ) 都 不 相关 。 
因此 , 式 (10.26) 两 边 同 时 左 乘 (nm) ,再 取 期 望 , 可 推出 


E[x(k)v#(n)]=0 天 ms<0 (10.27) 
相应 地 ,从 测量 方程 式 (10.19) 可 推出 
Ely(k)vii(n)]}=O O<k<n-1 (10.28) 
此 外 ,可 以 写 出 
Ely(k)vř (n) =0 O0<k<n (10.29) 


给 定 过 去 的 观测 值 y(1),…,y(n -1) 及 它们 所 张 成 的 空间 也, ,由 测量 方程 式 (10.19) 还 
可 以 得 出 观测 向 量 当前 值 y(n) 的 最 小 均 方 估计 

$n Yn) = C(n)&(n|Y,_4) + B(n|Y,-1) 
然而 ,由 于 va(n) 与 过 去 所 有 的 观测 值 y(1),… ,y(n 1) 都 正 交 [ 见 式 (10.28)], 所 以 测量 噪声 
向 量 的 估计 加 (n1 旬 ,-1) 为 0。 因 此 ， ERa» 


inl Yn) = C(n)x(n|%,-1) (10.30) 
于 是 R RRO a ETE RAKA 
a(n) = y(n) — C(n)(n|%,-1). (10.31) 
将 测量 方程 式 (10.19) 代 人 式 (10.31) ,得 
a(n) = C(n)e(n,n — 1) + n(n) (10.32) 


其 中 s(n,n -1 是 用 =m-1 时 刻 及 其 以 前 的 数据 进行 预测 时 ,得 到 的 n 时刻 预 测 状 态 误 差 向 
量 。 即 (n,n - 1) ERA x(n) 和 一 步 预 测 值 x(n1Y,1) 之 差 
e(n,n — 1) = x(n) — &(n|%,_1) (10.33) 
注意 ,预测 状态 误差 向 量 y(n) 与 过 程 噪声 向 量 v,(n) 和 测量 噪声 向 量 都 正 交 ( 见 习题 2)。 
新 息 过 程 a(n) 的 相关 和 矩阵 定义 为 
R(n) = Ela(n)a*(n)] (10.34) 
因此 ,将 式 (10.32) 代 人 式 (10.34) ,展开 有 关 项 ,并 利用 向 量 eln, n-1)5 v,(n) 的 正 交 关 系 ， 
可 以 得 到 
R(n) = C(n)K(n, n ~ 1)C*(n) + Qa(n) (10.35) 
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其 中 Q (n EMERE E v,(n) 的 相关 和 矩阵 , M x M 和 矩阵 K(n,n -1) 称 为 预测 状态 误差 相 
关 和 矩阵 ,定义 为 

K(n,n — 1) = Ele(n,n — 1)e H(n,n —1)] (10.36) 
其 中 ,s(n,n - 1) 是 预测 状态 误差 向 量 。 和 撼 阵 K(n,n - 1) 原来 是 用 于 统计 描述 预测 估计 
x(n1%Y, 1) 中 误差 的 。 


10.4 应 用 新 息 过 程 进行 状态 估计 


下 面 ,我 们 根据 新 息 过 程 导出 状态 x( i) 的 最 小 均 方 估计 。 从 第 10.1 节 的 讨论 中 我 们 已 经 
得 出 ,这 个 估计 可 以 表示 成 新 息 过程 a(1) ,a(2),… ,a(n) 序 列 的 线性 组 合 [ 对 照 式 (10.12)]， 
即 


(i|%,.) = 2 B(k)a(k) (10.37) 
BOB 1B, (A) ii EAER M x N 和 矩阵。 根据 正 交 性 原理 ,预测 状态 误差 向 量 与 新 息 过 程 
正 交 , 即 
Ele(i, n)o(m)| = E{[x(i) — &[é|%,)]e"(m)} 
= OO m= 1,2,. 
将 式 (10.37) 代 信 式 (10.38) ,并 利用 新 过程 的 正 交 性 质 . 即 式 (10.24) 得 
E|x(i)oa”(m)] = B,(m)E[a(m)a"(m)] 
= B,(m)R(m) (10.39) 
` PAH, FR (10. 39) asda Fe at SR ME R (m) ,可 得 B;(m) 的 表达 式 为 
Bm) = E[x(i)oa"(m)|R(m) (10.40) 
最 后 ,将 式 (10.40) 代 人 式 (10.37) ,得 到 最 小 均 方 误差 估计 
il,) = $ Eixa) ]R kalk) 


(10.38) 


= S EIROA OJR kak) 
+ E[x(i)a"(n)|R"(n)a(n) 
BOF i=n+1, 有 
(n + 1|%,) = S Elan + 1)e”(k)]R "(Kk)a(k) 


(10.41) 
+ E[x(n + lja 4(n)|R1(n)a(n) 


SRI, + 1 时刻 的 状态 x(n +1) 5 n 时 刻 状态 x(n) 的 关系 由 式 (10.17) 给 出 。 因 此 ,利用 这 个 
KAR, 对 于 0<k<n, 有 
Elx(n + 1)a"(k)] = E{[F(n + 1,n)x(n) + vi(n)]a”(k)} 
= F(n + 1, n)E[x(n)a(k)] 


其 中 a(k) RUBE y), yk )AK. AE, sh (10.29) A, v, (n) 5 al kE 


(10.42) 
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(其 中 0<%<n)。 利 用 式 (10.42) 以 及 当 i=n 时 x(il 凶 ,) 的 计算 公式 ,可 将 式 (10.41) 右 边 的 
求 和 项 改写 为 
S E[x(n + 1)e?(k)|RU(k)a(k) = F(n + 1, n) SE [x(n)o"(k) JR1(k)ee(k) 
k=1 k=1 


(10.43) 
= F(n + 1,n)x(n{%,-1) 


为 了 进一步 讨论 ,引入 如 下 基本 定义 。 
10.4.1 卡尔 曼 增 益 


定义 M x NIERE 
G(n) = E[x(n + 1)a”(n)] R(n) (10.44) 
其 中 EL x(n + De" (n) ERASE x(n + ARATE a(n) SE. AEM 
和 式 (10.43) 的 结果 ,可 以 将 式 (10.41) 简 单 地 重 写 为 
i(n + 1Y) = F(n + 1, n)%(n|Y,-1) + G(n)a(n) (10.45) 


式 (10.45) 具 有 明确 的 物理 意义 。 它 表明 :线性 动态 系统 状态 的 最 小 均 方 估计 x(n + 119, ) aT 
由 前 一 估计 x(n1 氏 ,1) 求 得 ,只 要 将 其 左 乘 以 转移 矩阵 了 (n + 1,n) ,再 加 上 修正 项 G(n)a(n) 
即 可 。 修 正 项 等 于 新 息 过 程 a(n) 左 乘 以 矩阵 G(n)。 为 了 表示 对 卡尔 曼 开创 性 贡献 的 认可 ， 
将 矩阵 G(n) 称 为 卡尔 曼 增益 (Kalman gain)。 
现在 剩 下 惟一 要 解决 的 问题 是 ,怎样 以 一 种 便于 计算 的 形式 来 表示 卡尔 曼 增 益 G(n)。 
为 此 ,首先 用 式 (10.32) 和 式 (10.42) 将 x(n+1) 与 a”(n) 乘 积 的 期 望 表示 为 
E[x(n + 1)oaf(n)] = F(n + 1, n)E[x(n)a"(n)] 
= F(A + Ln)E[x(n)(C(n)e(n,n = 1) + v2(n))"] (10.46) 
= F(n + 1n)E[x(n)e%(n,n — 1|C%(n) 


式 中 利用 了 状态 x(n) 与 噪声 向 量 vy,(n) 互 不 相关 [ 见 式 (10.27)] 这 一 事实 。 其 次 ,由 于 预测 状态 


误差 向 量 en,n - 1) 5K x(n IY, 1) 正 交 , 因 此 XCn1 包 ,1) 与 ef (n,n- 1) 乘积 的 期 望 为 零 。 
这 样 ,用 预测 状态 误差 向 量 s(n,n - 1) 代替 相 乘 因子 x(n), 将 不 会 引起 式 (10.46) 变 化 , 故 有 


E[x(n + 1)” (n)] = F(n + 1,n)Ele(n,n — 1)ef(n,n ~—1)]C?(n) (10.47) 
由 式 (10.36) 可 看 出 , 式 (10.47) 右 边 的 期 望 等 于 预测 状态 误差 相关 和 矩阵 。 故 式 (10.47) 可 改写 为 
Elx(n + 1)a!(n)} = F(a + 1,n)K(n,n — 1)C%(n) (10.48) 
我 们 现在 重新 定义 卡尔 曼 增益 。 为 此 ,将 式 (10.48) 代 人 式 (10.44) ,得 
G(n) = F(n + 1,n)K(n,n — 1)C¥(n)R71(n) (10.49) 


其 中 相关 和 矩阵 R(n) 由 式 (10.35) 定 义 。 

图 10.3 表示 用 式 (10.49) 计 算 卡 尔 坚 增益 G(n) 的 信和 号 流 图 。 一 旦 求 出 G(n), 就 可 以 用 
式 (10.45) 对 一 步 预 测 进行 更 新 ,由 给 定 的 旧 值 x(n1Y,-1) 计 算 x(n+11 氏 ,), 如 图 10.4 所 示 。 
图 中 利用 了 式 (10.31) 的 新 息 过 程 a(n). 
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Be Rw) A 
BM SB Qn) 





图 10.3 卡尔 曼 增 益 计算 器 
线性 动态 系统 模型 


、 更 新 状态 估计 
> tn + 1Y) 








R(n Yn) 
EE > 


单位 负 反馈 
图 10.4 一 步 状 态 预 测 器 :给 定 旧 估计 x(n IY, ) 和 观测 值 y(n) ,由 预测 器 计算 新 状态 n + 11Y,) 


10.4.2 Riccati 方程 


事实 上 , 式 (10.49) 对 计算 卡尔 曼 增益 G(n) 并 不 是 十 分 有 用 ,因为 它 需 要 知道 预测 状态 误 
AREE KCn,n 一 1)。 为 克服 这 一 点 ,我 们 导出 计算 K(n,n -1 的 递归 公式 。 
预测 状态 误差 向 量 e(n + 1,m) 等 于 状态 x(n + 1) 与 一 步 预测 x(n + 119) SHR 
(10.33) ] 
e(n + 1,n) = x(n + 1) — x(n + 1|4,) (10.50) 
HEFL (10. 17) FISK (10.45 FLAK (10.50) ,并 对 新 息 过 程 的 a(n) 应 用 式 (10.31) ,可 得 
e(n + 1,2) = F(n + 1,n)[x(n) — g(rn|Y,1)] 
— G(n)[y(n) — C(n)&(n|Y,-1)] + vil 
其 次 ,利用 式 (10.19) 消 去 式 (10.51) 中 的 yY(m) ,可 得 递归 计算 预测 状态 误差 向 量 的 差分 方程 
e(n + 1,n) = [F(n + 1,n) — G(n)C(n) ]e(n, n — 1) 
+ Vin) — G(n)v2(n) 


n) (10.51) 


(10.52) 
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预测 状态 误差 向 量 s(n +1,n) 的 相关 和 矩阵 为 [ 见 式 (10.36)] 
K(n+1,n)= Ele(n + 1,n)e#(n + 1,n)| (10.53) 


将 式 (10.52) 代 入 式 (10.53), 由 于 误差 向 量 s(n,n - 1) 与 噪声 向 量 v (nz) 和 v,(n) 互 不 相关 ， 
可 将 预测 状态 误差 相关 矩阵 表示 为 
K(n + 1,n) = [F(n + 1,n) — G(n)C(n) ]K(n, n ~ 1)[F(n + 1,7) — G(n)C(n)]” 
+ Q,(n) + G(n)Q,(n)G"(n) 


其 中 qQ (n) Q (nn) 分 别 是 v (a) A v (nr) HARER, HE SL (10.54) LT, FA Sh 
(10.49) ASR (10.35) RK AR SEH ae FFB IT TA AR AS RE HEY Riccati 差分 方程 @ 


(10.54) 


K(n + 1,n) = F(n + 1,n)K(n)F@(n + 1,7) + Q,(n) (10.55) 
在 式 (10.55) 中 引入 了 新 的 M x MEE K(n) ,其 递归 形式 为 
K(n) = K(n,n — 1) — F(n,n + 1)G(n)C(n)K(n, n — 1) (10.56) 
这 里 ,利用 了 如 下 性 质 


F(n + 1,n)F(n,n +1) =I 


WER BFS BS SS A HCE AL AOR EAL [AE K(n) 的 数学 意义 将 在 第 10.5 节 中 介绍 ]。 
图 10.5 是 式 (10.56) 和 式 (10.5$) 的 信号 流 图 表示 。 这 幅 图 可 看 做 Riccati 方程 求解 器 ,给 定 
K(n,n 一 1) , 它 可 计算 更 新 值 K(n+ 1,n). 









WER Fy, (n) 
的 相关 矩阵 


G(n) AR 
C(n) 
Gn) ER 
F(n,n + 1) 


FKSM 
G(x) 


图 10.5 递归 计算 预测 状态 误差 相关 矩阵 的 Riccati 方程 求解 器 





O Riccati 差分 方程 是 为 纪念 C.J.F.Riccati 而 命名 的 。 该 方程 在 控制 论 中 具有 特别 重要 的 意义 。 
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式 (10.49)`\ 式 (10.35) 2010.31) . 式 (10.45)、 式 (10.56) 和 式 (10.55) 定 义 了 卡尔 曼 一 步 预测 算 
法 。 


10.5 滤波 


下 面 ,我 们 所 要 考虑 的 信 号 处 理 运算 是 滤波 。 特别 是 ,我 们 希望 利用 前 面 讨论 的 一 步 预测 
算法 来 计算 滤波 估计 x(n1%Yy,)。 
首先 注意 到 状态 x(n) 和 过 程 噪声 y,(n) 相 互 独立 。 因 此 ,给 定 n 时 刻 及 其 之 前 的 观测 数 
据 [ 即 给 定 y(1),…,y(n)], 由 状态 方程 (10.17) 可 得 n+ 1 时刻 状 态 x(n + 1) 的 最 小 均 方 估计 
为 
R(n + 1|Y,) = F(n + 1, n)%(2/%,) + b(n|Y,) (10.57) 


因为 噪声 v,(n) 独 立 于 观测 数据 y(1),… ,y(n), 故 相应 的 最 小 均 方 估计 v,(n1%Y,) 为 零 。 于 
是 , 式 (10.57) 简 化 为 


x(n + 1|Y,) = F(n + 1,n)%(n|Y,) (10.58) 
为 了 得 到 滤波 估计 x(n IY, ) ER (10.58) BUH A Ze FE EE Fln, n + 1) ,可 得 
x(n|Y,) = F(n,n + 1)X(n + 工人 (10.59) 


该 式 表明 ,如 果 已 知 一 步 预测 问题 的 解 [ 即 最 小 均 方 估计 x(n + 119), BARBERS 
阵 F(n,n+1) 乘 以 x(n+11Y,) 就 可 以 得 到 相应 的 滤波 估计 xX(n1Y,)。 


10.5.1 滤波 估计 误差 和 收敛 因子 


在 滤波 框架 中 ,很 自然 地 根据 状态 的 滤波 估计 定义 滤波 估计 误差 向 量 为 
e(n) = y(n) — C(n)k(n|Y,) (10.60) 
这 个 定义 与 式 (10.31) 新 息 向 量 a(n) OE AA, RS At x(n1%Y9,.; ) 用 滤波 估计 
x(n IY, RE. HERR (10.45) AE (10.59) 4A SE (10.60) ,得 
e(n) = y(n) 一 C(n)x(n |Y,- 1) — C(n)F(n,n + 1)G(n)a(n) 
= a(n) — C(n)F(n,n + 1)G(n)a(n) (10.61) 
= [I — C(n)F(n,n + 1)G(n) Ja(n) 
式 (10.61) 方 括号 内 矩阵 量 称 为 收 伍 因子 。 利 用 这 个 量 , 建 立 了 将 新 息 向 量 a(n) 转 化 为 滤波 
估计 误差 向 量 e(n) 的 计算 公式 。 利用 式 (10.49) 消 除 上 式 中 的 卡尔 曼 增益 G(n) 及 相同 的 项 ， 
可 将 式 (10.61) 重 写 为 其 等 效 形 式 
e(n) = Q(n)R"(n)a(n) (10.62) 
其 中 Q (2) AWE RE v(n) 的 相关 和 矩阵 ,而 R(n) 是 由 式 (10.35) 定 义 的 新 息 过 程 w(m) 
的 相关 矩阵。 由 式 (10.62) 可 以 看 出 ,如 果 不 考虑 左 乘 以 Q (nz) , 则 道 矩 阵 R -zz) 在 卡尔 曼 滤 
波 器 理论 中 起 到 了 收敛 因子 的 作用 。 事 实 上 ,在 @(m) 等 于 单位 阵 的 特殊 情况 下 i R`! 
正 是 这 里 定义 的 收敛 因子 。 
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10.5.2 滤波 状态 误差 相关 和 矩 阵 


前 面 ,在 Riccati 差分 方程 (10.55) 中 引入 了 M x M 矩阵 K(n)。 下 面 ,我 们 通过 证 明 该 矩 
阵 等 于 滤波 估计 x(z1q。) 中 所 固有 的 误差 相关 矩阵 ,来 得 出 现 正在 讨论 的 标准 卡尔 曼 滤 波 器 
理论 的 有 关 结 论 。 
将 状态 x(m) 与 滤波 估计 X(nlg,) 之 差 定 义 为 滤波 状态 误差 向 量 e(n), 即 
e(n) = x(n) — x(n|%,) (10.63) | 
将 式 (10.45) 和 式 (10.59) 代 入 式 (10.63), 利 用 FCn,n+1) 和 F(n+1,n) 的 乘积 等 于 单位 阵 ， 
可 得 
e(n) = x(n) — X(n|Y,,_,) — F(n,n + 1)G(n)a(n) 
= e(n,n — 1) — F(n,n + 1)G(nja(n) 
其 中 e(n,n- DENN n -1 AIRS AES BY) n 时 刻 的 预测 状态 误差 问 量 , a(n) 


是 新 息 过 程 。 
根据 定义 ,s(n) 的 相关 窍 阵 等 于 期 望 B[s(n)s (Cn)]。 故 由 式 (10.64) ,可 将 此 期 望 表示 


(10.64) 


为 
Ele(n)e"(n)| = Ele(n,n — l)e4 (n,n — 1)] 
+ F(n,n + 1)G(n)E[a(n)o*(n)|G4(n)F4 (n,n + 1) 
~ Ele(n,n — 1)a"(n) |G" (n)F" (n,n + 1) 
— F(n + 1,n)G(n)E[a(n)e"(n, n — 1)] 
仔细 分 析 一 下 式 (10.65) 的 右边 ,可 以 发 现 其 中 的 四 个 期 望 可 分 别 解释 如 下 : 
1) 第 一 个 期 望 等 于 预测 状态 误差 相关 甜 阵 
K(n,n — 1) = Ele(n,n— 1)e*(n,n — 1)] 
2) 第 二 项 中 的 期 望 等 于 新 息 过 程 w(m) 的 相关 矩阵 
R(n) = Ela(n)e(n)] 
3) 第 三 项 中 的 期 望 可 以 表示 为 
Eleln,n — 1)e%(n)] = E[(x(n) — &(n|Y,-1))e*(n)] 
= Elx(n)a"(n)] 
HP, AATA nY, ARANE w(=) 正 交 这 个 事实 。 其 次 ,由 式 (10.42) 可 
知 ,通过 令 k= ”然后 将 其 两 边 同 时 左 乘 以 FRI (n+1l,m)= 了 EC,zz+l), 有 
E[x(n)e"(n)] = F(n,n + 1)E[x(n + 1)a*(n)] 


(10.65) 


= F(n,n + 1)G(n)R(n) Sk 
式 中 最 后 一 行 ,利用 了 式 (10.44)。 从 而 Ne RS 
Ele(n,n — 1)a”(n)] = F(n,n + 1)G(n)R(n) P 
类 似 地 ,可 以 将 第 四 项 中 的 期 望 表示 为 © 


Ts 


Ela(nje"(n, n — 1)] = R(n)G"(n)F4(n, n ~ 1) 
利用 式 (10.65) 的 结果 ,可 得 


Ele(n)e*(n)| = K(n,n — 1) — F(n,n + 1)G(n)R(n)G4 (n)F4(n, n +1) (10.66) 
对 这 一 结果 可 做 进一步 简化 ,已 知 [ 见 ( 式 10.49) ] 
G(n)R(n) = F(n + 1,n)K(n,n — 1)CH(n) (10.67) 
HA (10.66) ASK (10.67) ,应 用 转移 矩阵 的 求 逆 规 则 ,可 得 
Ele(n)e4(n)] = K(n,n — 1) — K(n,n - 1)CH(n)GH(n)F (n,n + 1) (10.68) 
利用 ELe(n)e"(n) | K(n, n -1) 的 埃 尔 米 特 (Hermmitian) 特 性 ,有 
Ele(n)e#(n)] = K(n,n — 1) 一 F(n,n + 1)G(n)C(n)K(n, n — 1) (10.69) 
比较 式 (10.69) 和 式 (10.56) ,容易 看 出 
Ele(n)e"(n)] = K(n) (10.70) 


这 表明 ,Riccati 差分 方程 (10.55) 中 用 到 的 矩阵 K(n) ,实际 上 是 滤波 状态 误差 相关 矩阵。 矩阵 
K(n) 用 做 滤波 估计 六 (n1%Y,) 中 误差 的 统计 描述 。 


10.6 初始 条 件 


为 实现 第 10.4 节 和 第 10.5 节 中 介绍 的 一 步 预测 和 滤波 算法 ,很 显然 需要 规定 初始 条 件 。 
下 面 就 这 一 问题 进行 讨论 。 
不 可 能 精确 知道 过 程 方程 (10.17) 的 初始 状态 ,而 通常 用 均值 和 相关 和 矩阵 对 它 进行 描述 。 
在 n=0 时 刻 没 有 任何 观测 数据 的 情况 下 , 可 选择 初始 预测 估计 为 
(1|%) = E[x(1)] (10.71) 
其 相关 和 矩阵 为 
K(1,0) = E[(x(1) ~ E[x(1)])(x(1) — E[x(1)])"] 
= Io 
这 样 选择 初始 条 件 不 仅 直观 ,而 且 所 得 到 的 滤波 状态 估计 x(n1%Y,) 是 无 偏 的 (见习 题 9)。 如 


果 假 定 状 态 向 量 x(n) 的 均值 为 零 ,可 将 式 (10.71) 和 式 (10.72) 简 化 为 
(11%) = 0 


(10.72) 


和 
K(1,0) = E[x(1)x"(1)] = To 
10.7 卡尔 曼 滤 波 器 总 结 
表 10.1 总 结 了 求解 卡尔 曼 滤波 问题 的 公式 中 用 到 的 变量 和 参数 。 滤 波 器 的 输入 是 向 


O 在 表示 表 10.1 中 的 卡尔 曼 滤波 器 变量 和 参数 时 ,我 们 用 x(n1Y,_1) 和 x(n1Y, ) 来 区 分 状态 x(n) 的 先 验 估 计 [ 包 
括 观 测 值 y(n) 之 前 的 估计 ] 和 后 验 估计 [包括 观测 值 y(n) 之 后 的 估计 ] ,在 有 关卡 尔 曼 滤波 器 的 文献 中 经 常用 符号 
x, Ax, 分 别 表示 状态 的 先 验 估计 和 后 验 估计 。 同 样 ,常用 Ki AK, 分别 代 蔡 这 里 的 KCn, -1) 和 K(n)。 
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量 过 程 y(n) ,用 向 量 空间 了 Y, 表示 ,滤波 器 的 输出 是 状态 向 量 的 滤波 估计 x(n IY). K 10.2 
总 结 了 对 基于 一 步 预测 算法 的 卡尔 曼 滤波 器 (包括 初始 条 件 )。 


表 10.1 卡尔 曼 变 量 和 参数 小 结 





变量 定义 维 数 
x(n) n 时 刻 状态 Mxl 
y(n) 于 时 刻 观测 值 Nxi 
F(n+1,n) 从 n 时 刻 到 n+1 时 刻 的 转移 矩阵 MxM 
C(x) n BSS a ila R l NxM 
Qi (n) 过 程 噪声 vi (n) KERE MxM 
Q(n) 测量 噪声 v2 (n) HERE NXN 
a 给 定 观 测 值 yY(1),y(2),…,y(n) 在 n 

Y) MAPRI mt 
G(n) n 时 刻 卡 尔 曼 增 益 年 阵 MxN 
a(n) n 时 刻 新 息 向 量 Nxl 
R(n) 新 息 向 量 a(n) 的 相关 矩阵 NxN 
K(n,n~1) x(n YY ,_,) PRPS MxM 
K(n) x(nlQY ,) PRE AE MxM 


R102 基于 单 步 预测 的 卡尔 曼 滤 波 器 的 小 结 
输入 向 量 过 程 : 
观测 值 = iy), y(2),---, y(n) 
已 知 参数 ， 
转移 矩阵 =F(n +1,n) 
测量 矩阵 = C(n) 
WA REE =Q (r) 
测量 噪声 的 相关 和 矩阵 = O(n) 
计算 :n=1,2,3… 
G(n) = F(n + 1,n)K(n,n ~ 1)CH(n)[ Cn)Kln,n ~ 1)CH(n) + Qlan)” 
a(n) = y(n) — C(n)&(n|%,_1) 
R(n + 1|Y,) = F(n + 1, 2)&(n|Y,_1) + G(n)a(n) 
K(n) = K(n,n — 1) — F(n,n + 1)G(n)C(n)K(n, n — 1) 
K(n + 1,2) = F(n + 1,2)K(n)F"(n + 1,n) + Qi(n) 
初始 条 件 : 
%(1]%) = E[x(1)] 
K(1, 0) = E[(x(1) — E[x(1)])(x(1) - £[x(1)))"] = Mo 
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图 10.6 基于 一 步 预测 的 卡尔 曼 滤 波 器 框图 
图 10.6 为 卡尔 曼 滤 波 器 的 框图 表示 ,该 图 基于 三 个 功能 块 : 
9 一 步 预 测 器 (图 10.4) 
© 卡尔 曼 增 益 计算 器 (图 10.3) 
@ Riccati 方程 解 算 器 (图 10.5) 


10.8 卡尔 曼 滤 波 器 作为 RLS 滤波 器 的 统一 基础 


正如 本 章 前 言 所 提 到 的 ,人 们 关注 卡尔 曼 滤 波 器 理论 的 主要 原因 是 , 它 为 推导 那些 组 成 
RLS 滤波 器 族 的 线性 自 适应 滤波 算法 提供 了 一 个 统一 的 框架 ?。 关 键 问题 是 ,给 定 一 个 卡尔 曼 
滤波 器 或 其 随机 模型 变形 算法 之 一 ,如 何 得 到 基于 确定 性 模型 的 相应 RLS 滤波 器 呢 ? 

为 了 解决 这 一 基本 问题 ,显然 需要 RLS 滤波 器 基本 动态 特性 的 状态 空间 描述 。 首 先 考虑 
指数 加 权 因 子 * = 1 RLS 滤波 器 的 特殊 情况 。 从 第 9 章 中 业已 知道 ,RLS 滤波 器 是 图 9.4 中 
多 重 回 归 模型 的 线性 估计 器 。 现 在 ,我 们 再 将 该 模型 示 于 图 10.7 中 。 根 据 这 一 模型 ,参考 信 





D 卡尔 曼 滤 波 器 理论 在 自 适应 滤波 中 的 应 用 ,首先 出 现在 Lawrence 和 Kaufman(1971) 的 文献 中 (见习 题 8)。 接 着 ,Go- 
dard(1974) 用 一 种 不 同 于 Lawrence 和 Kaufman 的 方法 ,通过 抽 头 延迟 线 结构 ,将 自 适应 滤波 问题 表示 为 高 斯 噪声 下 
状态 向 量 的 估计 问题 , 它 代表 了 经 典 卡尔 曼 滤波 问题 。Godard 的 论文 促使 许多 其 他 研究 者 去 探索 卡尔 曼 滤波 器 理 
论 在 自 适 应 滤波 问题 中 的 应 用 。 
然而 ,直到 Sayed 和 Kailath( 1994) 的 论文 发 表 ,实际 上 才 发 现 基于 Riceati 方程 的 卡尔 曼 滤 波 算法 及 其 变形 算法 ,如 何 
能 够 正确 地 组 成 与 RLS 族 中 已 知 的 所 有 算法 一 一 对 应 起 来 。 
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号 或 期 望 响应 4(n) 与 输入 向 量 n(n) 的 关系 为 
d(n) = wo u(n) + e(n) (10.73) 
其 中 w, 是 模型 的 未 知 参数 向 量 , e,(n) 是 测量 误差 , 且 可 建 模 为 白 噪 声 。 因 为 假定 4 为 1, 所 
以 显而易见 ,状态 空间 模型 的 转移 矩阵 是 单位 阵 。 另 外 ,RLS 滤波 器 本 身 的 动态 过 程 是 无 激励 
的 ,这 就 意味 着 过 程 噪声 为 零 。 因 此 ,利用 本 章 采 用 的 卡尔 曼 滤 波 器 概念 ,可 将 4 = 1 时 RLS 

滤波 器 的 状态 空间 模型 假设 为 

x(n + 1) = x(n) (10.74) 
y(n) = C(n)x(n) + x(n) (10.75) 


在 式 (10.75) 中 ,测量 品 声 "(z) 是 均值 为 零 的 白 噬 声 。x(m) 合 平 逻 辑 的 选择 应 是 参数 向 量 
w,。 对 式 (10.73) 两 边 取 复 共 罗 , 并 与 式 (10.75) 的 测量 方程 相 比 较 , 可 推出 下 列 等 式 
x(n) = w, 
y(n) = d*(n) 
C(n) = u” (n) 
v(n) = es(n) 


MFA = 1 (10.76) 





观测 值 ai) 
图 10.7 ”多重 线性 回归 模型 


下 面 考 虑 一 般 情况 下 的 RLS 滤波 器 , 即 其 指数 加 权 因 子 4 的 取 值 为 0<4<1 的 情况 。 此 时 ， 
可 以 写 出 

x(n + 1) = F(n + 1, n)x(n) (10.77) 
和 

y(n) = u"(n)x(n) + v(n) (10.78) 
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这 里 , 式 (10.76) 中 依然 成 立 的 等 式 只 有 Cn) =u" (n), ATAA u(n) 与 4 无关 的 事实 中 得 
到 证 实 。 为 了 得 到 正确 的 转移 矩阵 FC(n+1,n), 以 及 0<4<1 的 情况 下 卡尔 曼 滤 波 器 测量 方 
程 (10.78) 与 式 (10.73)RILS 滤波 器 多 重 回归 模型 之 间 的 对 应 关系 ,我 们 采取 如 下 步骤 : 


1) 根据 式 (10.55) 容 易 发 现 ,对 于 无 激励 动态 模型 , 如 令 Q (n) = 0, 可 得 
K(n + 1,n) = F(n + 1, n)K(n)F”(n + 1,n) (10.79) 


另外 ,正如 后 面 将 要 说 明 的 ,表征 我 们 正在 寻找 的 无 激励 动态 模型 的 转移 矩阵 
F(n +l,m) 应 该 是 这 样 一 种 形式 ,以 使 得 式 (10.79) 能 够 简化 为 
K(n + 1,n) = K(n) 


因此 ,后 面 的 推导 将 以 此 为 基础 ,预测 误差 相关 距 阵 K(n + 1, nn) 与 滤波 误差 相关 距 阵 
K(n) 具 有 共同 值 。 

2) 假定 测量 噪声 v(n) 的 方差 为 1, 利 用 式 (10.35) 和 式 (10.49) ,可 将 卡尔 曼 增益 公式 取 为 
向 量 形式 , 且 和 定义 为 

F(n + 1,n)K(n — 1)u(n) 

1 + u4%(n)K(n — Du(n) (10.80) 


由 第 9 章 的 式 (9.18) ,RLS 滤波 器 的 增益 向 量 定 义 为 
ATP(n — 1)u(n) 
1 + Au" (n)P(n — 1)u(n) (10.81) 





g(r) = 








k(n) 


则 式 (10.80) 与 式 (10.81) 的 分 母 相同 。 由 此 立即 得 到 等 式 


K(n — 1) = A'P(n — 1) (10.82) 
如 果 令 
g(n) = F(n + 1,n)k(n) (10.83) 
3) 根据 卡尔 曼 滤波 器 的 式 (10.45), 有 
i(n + 1Y) = F(a + 1, n)k(n|%,-1) + g(n)a(n) (10.84) 
这 里 ,新 息 a(m) 是 标量 。 相 应 地 ,由 第 9 章 关 于 RLS 滤波 器 的 式 (9.25) ,有 
w(n) = Wn — 1) + k(n)é*(n) (10.85) 
其 中 &(n) 是 先 验 估计 误差 。 令 
i(n + 1|Y,) = p(n)W(n) (10.86) 


其 中 y(n) 是 待定 的 标量 沙 数 ,将 式 (10.83) 和 式 (10.86) 代 入 式 (10.84) 中 ,并 将 所 得 结 
果 与 式 (10.85) 进 行 比较 ,可 推出 如 下 两 个 式 子 


Fl(n+1,n)p (np(n — 1) = 1 (10.87) 
和 
F(n + 1,n)g"(n)a(n) = é*(n) (10.88) 
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其 中 工 是 单位 阵 。 如 果 令 


F(n+1,n) = A (10.89) 

和 
p(n) = VDP (10.90) 

则 式 (10.87) 成 立 。 这 时 , 式 (10.88) 、 式 (10.86) 和 式 (10.83) 可 分 别 简化 为 

a(n) = A" E*(n) (10.91) 
a(n + 1]Y,) = X02 (n) (10.92) 

和 
g(n) = AP k(n) (10.93) 


此 外 ,现在 可 以 看 出 ,如 果 将 式 (10.89) 用 于 式 (10.79), 则 可 得 到 K(n+1,n)=K(n)， 
从 而 证 明了 步骤 1 给 出 的 关系 是 正确 的 。 
4) 根据 卡尔 曼 滤 波 器 的 式 (10.31), 有 
a(n) = y(n) — C(n)&(n|%,,-1) 


= y(n) — aH(n)(n — 1) (10.94) 
相应 地 ,由 第 9 章 关 于 RLS 滤波 器 的 式 (9.26) ,有 
&(n) = d(n) — Wn — 1)u(n) (10.95) 
EK (10.91) RAZR (10.94) ,并 将 结果 与 式 (10.95) 相 比较 ,可 得 如 下 等 式 
y(n) = A”?d*(n) (10.96) 


5) 将 式 (10.96) 代 人 卡尔 曼 滤 波 器 的 测量 方程 式 (10.78) ,并 将 得 到 的 结果 与 RLS 滤波 器 
中 多 重 回归 模型 的 式 (10.73) 相 比较 ,可 得 如 下 等 式 


x(n) = Aw, (10.97) 
和 
p(n) = A*e%(n) (10.98) 


6) 根据 式 (10.35) 和 式 (10.63) ,可 以 将 式 (10.77) 和 式 (10.78) 表 示 的 卡尔 曼 滤波 器 的 标量 
收敛 因子 定义 为 


e(n) 





PO = aw) 


1 

= T+ CK — NC*(n) (10.99) 
1 

T 1+ Atw(n)P(n — 1)u(n) 


其 中 e(n) 为 滤波 估计 误差 ,a(n) 是 卡尔 曼 滤 波 器 的 新 息 。RIS 滤波 器 用 它 自身 的 收 
化 因子 来 表征 , 记 为 Y(n), 并 用 第 9 章 的 式 (9.42) 和 式 (9.18) 来 定义 。[ 注 意 ,不 要 将 
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RLS 滤波 器 的 e(n) SRR BURA e(n ) 混 淆 。] 由 这 些 等 式 , 有 
1 
1 + Atu” (n)P(n — 1)u(n) (10.100) 





y(n) = 


将 式 (10.99) 与 式 (10.100) 相 比较 ,立即 可 得 

r‘(n) = y(n) (10.101) 
因此 , ARSE SK (10.97) . zh (10.96) ,z0 (10.98) , 20 (10.92) 3R (10.82) 3È (10.93) 0 (10.91) AR 
(10.101) 定 义 的 关系 ,可 以 建立 随机 的 卡尔 曼 变 量 与 确定 性 的 RLS 变量 之 间 的 对 应 关系 , 表 
10.3 汇总 了 它们 之 间 的 对 应 关系 。 表 中 的 左 半 部 分 是 卡尔 曼 变 量 及 其 说 明 , 右 半 部 分 是 RLS 
变量 的 相应 内 容 。 但 是 ,在 描述 RLS 的 变量 时 ,为 了 简单 起 见 ,没有 考虑 对 变量 取 复 共 恩 以 及 
与 指数 加 权 向 量 4 之 寡 相 乘 的 运算 。 只 有 表 中 的 第 二 条 出 现 了 “指数 加 权 ”, 这 只 是 为 了 与 表 
中 的 第 一 条 有 所 区 别 。 

表 10.3 ER BEES ALS 变量 之 间 的 对 应 关系 











(图 10.8 的 无 激 (图 10.7 的 多 
FRE 励 动态 模型 RIS 重 回归 模型 ) 
说 明 变量 变量 说 明 
状态 初 什 x(0) w. 参数 向 量 
状态 x(n) aw, 指数 加 权 参 数 向 量 
参考 (观测 ) 信 号 y(n) a-d" (n) 期 望 响 应 
测量 噪声 v(n) a7? (n) 测量 误差 
状态 向 量 的 一 步 预测 x(n + 11%) A C+ Da n) 参数 向 量 估 值 
RASH PRR MBSE Kn) A-1P(n) 输入 向 量 相关 矩阵 之 逆 
卡尔 曼 增益 g(n) 1-I2k(n) 增益 向 量 
新 息 a(n) A782 e* (n) 先 验 估计 误差 
转换 因子 r`! (n) Y(n) 转换 因子 
初始 条 件 x(11%) =0 w(0) =0 初始 条 件 

K(0) A7"ip(0) 


下 面 , 我 们 对 卡尔 曼 滤 波 器 和 RLS 滤波 器 的 基本 关系 做 一 总 结 。 假 设 无 激励 状态 空间 模 
型 为 
x(n 十 1) = x(n) 0<ASK1. (10.102) 


y(n) = wi (n)x(n) + v(n) (10.103) 


其 中 x(n) 为 状态 向 量 ,u”(n) 为 测量 矩阵 ,y(n) 是 测量 噪声 ,可 看 做 均值 为 零 、 方 差 为 1 的 白 
噪声 。 指 数 加 权 因 子 * 和 输入 向 量 u(n) 与 RLS 滤波 器 有 关 。 过 程 方程 式 (10.102) 从 式 
(10.77) 和 式 (10.89) 得 到 。 测 量 方程 式 (10.103) 是 式 (10.78) 的 重复 , 列 出 来 只 是 出 于 完整 性 
的 考虑 。 从 初始 条 件 x(0) 开 始 ,由 式 (10.102) 容 易 得 到 

x(n) = A"/2x(0) 


显然 ,x(0) 与 图 10.7 中 多 重 回 归 模 型 参数 向 量 w, 之 间 的 关系 与 指数 加 权 因 子 X 无 关 。 因 此 ， 
由 式 (10.76) 的 第 一 行 ,可 以 导出 


x(0) = w, 
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因此 ,对 于 任意 的 和 ,可 以 用 w, 将 x(n) 定 义 为 
x(n) = A"/2w, (10.104) 
式 (10.102) 和 式 (10.103) 的 无 激励 线性 动态 模型 用 图 10.8 的 信号 流 图 表示 , 它 通过 包含 
状态 演变 的 动态 成 分 而 推广 了 图 10.7 的 多 重 回 归 模 型 。 显 然 ,图 10.8 的 状态 空间 模型 比 图 
10.7 的 多 重 回 归 模 型 更 有 效 。 然 而 ,值得 注意 的 是 ,由 于 指数 加 权 因 子 à RAAE O< Aà s1 范 
围 内 ,因此 状态 x(n) BAZ w, 处 保持 不 变 , 要 么 随 n 呈 指 数 增长 (该 问题 的 进一步 讨论 参见 
习题 15)。 
过 程 方程 测量 方程 





x(n + 1) x(n) 观测 值 





图 10.8 RLS 滤波 器 的 状态 空间 模型 (指数 加 权 因 子 的 范围 为 0< A <1) 


10.9 卡尔 曼 滤 波 器 变形 


在 本 节 中 ,我 们 将 构建 刚刚 导出 的 两 项 内 容 :图 10.8 所 示 的 无 激励 动态 模型 和 表 10.3 给 
出 的 卡尔 曼 变量 与 RLS 变量 之 间 的 对 应 关系 。 特 别 是 ,我们 要 用 图 10.8 所 示 的 特殊 模型 导出 
卡尔 党 滤 波 器 变形 。 反 过 来 ,这 些 变形 算法 又 为 推导 平方 根 RLS 滤波 器 和 阶 递归 RLS 滤波 器 
提供 了 基础 ,它们 将 分 别 在 第 11 章 和 第 12 章 中 讨论 。 


10.9.1 协 方差 (卡尔 曼 ) 滤 波 算法 


表 10.2 中 总 结 的 卡尔 曼 滤波 算法 ,设计 用 来 传递 状态 估计 x(n + 1 外。) 中 误差 相关 ( 协 方 
AERE Kn + 1,n)。 因 此 ,一 般 将 此 算法 称 为 协 方差 (卡尔 曼 ) 滤 波 算法 。 对 于 图 10.8 中 的 
无 激励 动态 模型 , 表 10.2 BHR 10.4 中 所 总 结 的 协 方差 滤波 算法 。 在 表 10.4 中 ,用 g(n) 表 
示 卡 尔 曼 增益 向 量 ,以 与 第 10.8 节 所 表示 的 相 一致 。 


表 10.4 图 10.8 所 示 的 特殊 无 激励 动态 模型 协 方差 (卡尔 曼 ) 滤 波 算法 小 结 
"RAREHE: 
观测 值 : y(1),y(2),…, y(n) 
已 知 参数 : 
转移 矩阵 FEF(n+1,n)=A-2r I= 单位 阵 
测量 矩阵 C(n) =u" (n) 
测量 噪声 方差 u(n) cz=1 
初始 条 件 : 
(1%) = Elx(1)] 
K(1,0) = El(x(1) — E[x(1)](x(1) - £[x(1)])“] = ID 


( BERR ) 


计算 :n=1,2,3,… 
A2K(n 一 1)u(n) 
a(n) = wi(n)K(n — 1)u(a) + 1 
a(n) = y(n) 一 w"(n)k(n|Y,-1) 
(n + 1/%,) = A(n Y1) + g(n)a(n) 
K(n) = A'K(n — 1) — AM? g(n)u” (n)K(n — 1) 





10.9.2 信息 滤波 算法 


卡尔 曼 滤 波 器 也 可 通过 传递 逆 和 矩阵 K (m) 来 实现 ,这 种 方法 强调 了 滤波 过 程 的 递归 最 
小 二 乘 特性 。 状 态 误 善 相关 和 拖 阵 的 道 矩阵 K (n) Fisher 信息 矩阵 有 关 , 后 者 用 信息 论 的 术 
语 解释 了 滤波 器 的 特性 (Fisher 信息 矩阵 在 附录 D 中 讨论 )。 因 此 ,基于 K-'(n) 来 实现 卡尔 曼 
滤波 算法 常 称 为 信息 滤波 算法 (Fraser,1967) 。 

下 面 ,我 们 按 步 又 推导 信息 滤波 算法 。 


步骤 1 对 于 图 10.8 的 特殊 无 激励 动态 模型 ,我们 从 Riccati 差分 方程 出 发 进行 讨论 ,该 
方程 具有 如 下 形式 ( 见 表 10.4 中 算法 的 最 后 一 行 ) 


K(n) = A'K(n — 1) — A g(n)ju"(n)K(n 一 1) - (10.105) 
由 此 方程 解 出 矩阵 乘积 p(n) (n)K(n- 1) 为 
g(n)u"(n)K(n — 1) = A?K(n — 1) — AK(n) (10. 106) 


其 次 ,根据 表 10.4 中 算法 的 第 一 行 ,无 激励 动态 模型 的 卡尔 曼 增 益 可 定义 为 
A2K(n 一 1)u(n) 





g(n) = OK Tu + 1 (10.107) 
两 边 乘 以 分 母 ,经 整理 式 (10.107) 可 重 写 为 
glin) = A™K(n — 1)u(n) ~ (g(n)u"(2)K(n — 1))u(n) (10. 108) 
将 式 (10.106) 代 入 式 (10.108) 并 消去 相同 项 ,可 得 卡尔 曼 增 益 新 定义 为 
g(n) = AK(n)u(n) (10. 109) 
然后 ,由 式 (10.106) 和 式 (10.109) 消 去 g(n), 并 用 4”“ 乘 以 所 得 的 结果 ,我 们 得 到 
K(n — 1) = AK(n)u(n)u"(n)K(n — 1) + AK(n) (10.110) 
分 别 用 k-'(n) 和 kk-'(n - 1) AEA HER (10. 110) ,可 得 信息 滤波 算法 的 第 一 个 递归 表达 式 为 
K!(n) = AK (n — 1) + Au(n)u"(n) (10.111) ， 
步骤 2 由 表 10.4 中 算法 的 第 二 行 、 第 三 行 , 分 别 有 
a(n) = y(n) 一 u” (n)å(n| Yn) (10.112) 
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Kn + 1|%,) = R(n] Yn) + g(n)a(n) (10.113) 
因此 ERGO. 109) FLA ZK (10. 113) ,可 得 | 
&(n +1 |%,,) = A(n Y,-1) + AlM?K(n)u(n)e(n) (10.114) 
EKR, HAR (10.112) MA (10. 114) FHA a(n) ,得 到 
x(n +1|%,) = [A271 NK (na) (n) liln Yp) + Al?K(n)u(n) y(n) (10.115) 
另外 ,由 式 (10.110) ,很 容易 得 到 关系 式 
ATI 一 AKC)aaas(a) = AKCOOJRK Ca — 1) (10.116) 


于 是 ,可 以 将 式 (10.115) 简 化 为 
K(n + 1|) = A’?K(n)K (n — 1)%(2|%,-1) + AM?K(n)u(n)y(71) 
FASE K (n ARS a RS — MIA IA RH 
K"(n)x(n + 1|%,) = AM? K1 (2 — 1)X(n|%,-1) + a(n) y(n) | (10.117) 
注意 , 式 (10.117) 给 出 的 算法 是 对 乘积 KO! (n - 1) x(n IY, HEFT IBA, ARE it as SE 
行 递 归 。 
HRS 结合 步骤 2 的 结果 与 步 又 1 的 矩阵 求 道 , 即 得 状态 估计 更 新 值 的 计算 式 为 
R(n + 1|Y,) = K(n)(K"'(n)x(n + 1]%,)) 
= [K"(n)}"(K7(n)8(n + 1/%,)) 
式 (10.111)、 式 (10.117) 和 式 (10.118) 构 成 了 式 (10.102) 和 式 (10.103) 的 无 激励 动态 模型 的 信 
息 滤波 算法 ,汇总 在 表 10,5 中 。 
表 10.5 图 10.8 所 示 的 特殊 无 激励 动态 模型 信息 滤波 算法 小 结 


(10.118) 


输入 标量 过 程 : 
观测 值 = y(1),y(2),…, y(n) 

已 知 参 数 : 
转移 矩阵 F(n+1,n)=4-!21 I= 单 位 阵 
测量 和 矩阵 C(n) =u"(n) 
WU vin) oo =1 

初始 条 件 


&(119o) = E[x(1)] 
K(1,0) = E[(x(1) ~ E[x(1)])(x(1) - E[x(1)])"] = To 
计算 :n=1,2,3,… 
K-11(n) = A[K {a — 1) + u(n)u*(n)] 
K(n)k(n + 11Y,) = MAK n 一 1)x(n|%,,_,) + n(n)y(n)] 
Kn + 11%,) = [KAn] K n)a + 1/%,) 


至 此 ,我 们 介绍 了 卡尔 曼 滤 波 器 的 协 方差 滤波 算法 和 信息 滤波 算法 。 虽 然 它 们 在 代数 上 
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是 等 价 的 ,但 这 两 个 算法 的 数值 特性 有 很 大 不 同 (Kaminski et al. ,1971)。 然 而 ,这 两 个 算法 需 
要 的 代数 运算 量 ( 即 乘法 和 加 法 运算 量 ) 相 同 ,对 于 上 面 所 讨论 的 特殊 模型 ,需要 的 运算 量 是 
OM) ,其 中 M 是 状态 向 量 的 维 数 。 


10.9.3 发 散 现 象 


总 结 在 表 10.4 的 卡尔 曼 滤 波 器 的 协 方差 实现 ,存在 严重 的 数值 问题 , 这 已 由 许多 文献 所 
证 明 (Kaminski et al,1971; Bierman & Thomton ,1977) 。 例 如 ,根据 表 10.4 中 最 后 一 行 ,矩阵 K(n) 
定义 为 两 个 非 负 定 和 矩阵 之 差 ; 因 此 ,除非 算法 每 次 迭代 中 所 用 的 数值 精度 足够 高 ,否则 ,由 以 上 
计算 得 到 的 矩阵 K(n) 就 可 能 不 是 非 负 定 的 。 这 种 情况 显然 是 不 能 接受 的 ,因为 K(n) 代 表 相 
关 矩 阵 。 由 有 限 字 长 运算 造成 的 数值 不 精确 导致 了 卡尔 曼 滤 波 器 的 不 稳定 ,这 种 现象 称 为 发 
散 现象 。 

克服 发 散 现象 的 一 个 简单 方法 是 ,对 图 10.8 所 示 的 无 激励 动态 模型 的 (无 品 ) 过 程 方程 式 
(10.102) ,人 为 地 加 上 高 斯 白 品 声 。 加 性 噪声 方差 的 选取 应 足够 大 ,以 保证 竹 阵 K(n) 对 所 有 
的 n 都 是 非 负 的 。 


10.9.4 平方 根 滤波 


克服 发 散 现象 的 一 种 更 合适 的 方法 是 ,在 卡尔 曼 滤 波 算法 的 每 一 次 迭代 中 应 用 数值 上 稳 
定 的 酉 变换 (了 Potter, 1963; Kaminski et al. , 1971; Morf & Kailath,1975)。 特 别 是 ,通过 利用 乔 利 斯 
基 (Cholesky) 分 解 D, 和 矩阵 K(n) 以 如 下 平方 根 的 形式 进行 传播 
K(n) = K'?(n)K"(x) (10.119) 
式 中 K”(n) 为 下 三 角 和 矩阵 , KK“ 是 它 的 埃 尔 米 特 转 置 矩 阵 。 在 线性 代数 中 ,, 乔 利 斯 基因 子 
K” (n EREE K(n) 的 平方 根 ,因此 ,任何 基于 乔 利 斯 基 分 解 的 卡尔 曼 滤 波 算法 都 称 为 平 
方 根 滤波 。 重 要 一 点 是 ,矩阵 的 乘积 项 K”(n)K”(n) 不 大 可 能 是 不 定 阵 , 因为 任何 方 阵 与 其 
埃 尔 米 特 转 置 矩阵 的 乘积 总 是 正定 的 。 事 实 上 ,即使 存在 售 人 误差 , 乔 利 斯 基因 子 K“(n) 的 
数值 条 件 一 般 也 比 K(n) 好 得 多 (见习 题 17)。 
信息 滤波 算法 也 可 以 用 平方 根 的 形式 实现 ,这 时 , 递 推 的 是 平方 根 KO? (1) A E 
K-' (nz) 本 身 (Kaminski et al. ,1971; Bierman,1977)。 在 卡尔 曼 滤 波 器 的 这 种 变形 算法 中 , 乔 利 
斯 基 分 解 用 来 将 必 (nm) 表 示 为 
K'(n) = K#”(n)K (n) (10.120) 
其 中 K (n) dE FEA KY ECRI KEE BOE, 
10.9.5 UD 分解 
卡尔 曼 滤 波 器 的 平方 根 实现 与 传统 的 卡尔 曼 滤 波 器 相 比 ,需要 的 运算 量 较 多 。 为 提高 运 
算 效 率 , 人 们 又 提出 了 修正 的 平方 根 滤波 算法 一 一 UD 分 解 算法 (Bierman,1977)。 在 这 种 方法 


中 ,滤波 状态 误差 相关 和 矩阵 KK(n ) 被 分 解 为 主 对 角 线 元 素 为 1 的 上 三 角 阵 U(n) 和 实 对 角 阵 
D(n), 即 








D Cholesky 分 解 曾 在 第 3.7 节 的 线性 预测 中 讨论 过 。 


第 10 章 卡尔 曼 滤 波 器 393 


K(n) = U(n)D(n)U*(n) (10.121) 
于 是 ,分 解 式 可 以 写 为 
K(n) = (U(n)D¥(n))(U(n)D?(n))" (10.122) 


其 中 D(n) 是 D(n) 的 平方 根 。 通 过 和 迭代 更 新 因子 Un) M Dn) MAR K(n) 本 身 , 从 而 保 
证 了 K(n) 的 非 负 定性 。 但 是 ,基于 UD 分 解 的 卡尔 曼 滤 波 器 并 不 具有 标准 平方 根 卡尔 曼 滤波 
器 在 数值 上 的 优势 。 而 且 ,基于 UD 分 解 的 卡尔 曼 滤 波 器 可 能 会 遇 到 严重 的 上 洲 (overflow) 或 
下 滋 (underflow) 问 题 ,该 问题 分 别 发 生 在 当 运 算 结果 所 产生 的 数 太 大 或 太 小 时 (Stewar & 
Chapman, 1990). 

总 的 说 来 , 随 着 数字 技术 日 益 不 断 的 进步 ,人 们 已 不 太 在 意 过 去 那 种 认为 平方 根 算法 代价 
太 高 ,不 便于 计算 的 观点 。 因 此 ,为 避免 卡尔 曼 滤 波 器 出 现 发 散 现象 ,本 书 将 对 平方 根 滤波 进 
行 详细 的 讨论 ( 见 第 11 章 )。 


10.10 广义 卡尔 曼 滤 波 器 


前 面 讨论 的 卡尔 曼 滤 波 问题 ,都 是 针对 动态 系统 线性 模型 中 状态 向 量 估 计 的 。 如 果 模 型 
是 非 线性 的 ,我们 可 以 通过 线性 化 来 扩展 卡尔 曼 滤 波 器 的 应 用 ,这 样 得 到 的 滤波 器 称 为 广义 卡 
JR E WEAS (EKF ; extended Kalman filter)。 这 种 扩展 可 以 通过 卡尔 曼 滤波 器 的 微分 方程 (对 连 
续 时 间 系 统 ) 或 差分 方程 (对 离散 时 间 系 统 ) 来 实现 。 与 维 纳 滤 波 器 不 同 , 维 纳 滤 波 器 仅 限 于 线 
性 系统 ,因为 表示 维 纳 滤波 器 的 脉冲 响应 只 对 线性 系统 有 意义 。 这 是 卡尔 曼 滤波 器 优 于 维 纳 
滤波 器 的 又 一 个 重要 优点 了 。 

为 了 准 离 散 时间 域 广义 卡尔 曼 滤波 器 的 研究 提供 一 个 舞台 ,首先 考虑 本 章 前 面部 分 讨论 
过 的 标准 线性 状态 空间 模型 [ 式 (10.17) 和 式 (10.19)1。 为 方便 表示 起 见 , 将 其 重 写 如 下 

x(n + 1) = Fn+1,n)x(n) + vi(n) (10.123) 


y(n) = C(n)x(n) + v2(n) (10.124) 


其 中 ,vi(n) 和 v,(n) 是 分 别 具 有 相关 矩阵 Q (nM Q (mn) 且 互 不 相关 的 零 均值 白 噪 声 过 程 ， 
如 式 (10.18)` 式 (10.20) 和 式 (10.21) 所 定义 。 相 应 的 卡尔 曼 滤波 器 方程 在 表 10.2 中 归纳 。 但 
是 在 本 节 中 ,我 们 将 以 一 种 略微 不 同 的 形式 重 写 这 些 方程 ,使 其 更 方便 于 这 里 的 讨论 。 具 体 来 
说 ,我 们 将 用 两 步 完 成 状态 估计 的 更 新 。 第 一 步 ,将 nY, EAA xl + 11 包 。) ,更 新 方程 
BE (10.58), PBI x(n lV...) BMH x(nlY,), BARBER (10.45) KAR 
(10.59) 并 定义 一 个 新 的 增益 矩阵 . 
G,(n) = 了 -La + 1,n)G(n) (10. 125) 


而 获得 。 于 是 ,我 们 可 写 出 





O ”实际 上 , 维 纳 滤波 器 是 卡尔 曼 滤 波 器 的 一 个 特例 。 因 为 在 平稳 环境 中 ,从 卡尔 曼 滤 波 器 理论 和 维 纳 滤波 器 理论 得 
到 的 最 优 稳 态 滤波 器 是 相同 的 [对 于 维 纳 滤波 器 和 卡尔 曼 滤 波 器 之 间 关 系 的 详细 论述 , 见 Lewis(1986) 和 Mendel 
(1995) 1. 
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x(n + 1|%,) = F(n + 1, n)&(n|Y,,) (10.126) 
&(n|Y,) = &(n|%,-1) + Gn)a(n) (10.127) 
a(n) = y(n) — C(n)&(n|Y,-1) (10.128) 
G;(n) = K(n, n — 1)C¥(n)[C(n)K(n, n — 1)C¥(n) + Qn)” (10.129) 
K(n + 1,2) = F(n + 1, n)K(n)F” (n + 1,n) + Qi(n) (10.130) 
及 

K(n) = [I — G(n)C(n) JK(n, n — 1) (10.131) 

其 次 ,我 们 做 如 下 实验 :假设 用 如 下 状态 空间 模型 
x(n + 1) = F(n + 1,n)x(n) + vi(n) + d(n) (10.132) 
y(n) = C(n)x(n) + v2(n) (10.133) 


来 代替 状态 方程 式 (10.123) 和 式 (10.124) , 式 中 d(n) 是 已 知 的 ( 即 非 随机 的 ) 向 量 。 在 这 种 情 
况 下 ,很 容易 证 明 式 (10.127) ~ 式 (10.131) 仍 然 成 立 , 只 是 式 (10.126) 稍 有 不 同 ,修改 为 
R(n + 1|Y,) = Fln + 1, n)&(n|%,) + d(n) (10.134) 
UE BCH HH SUES” SCR AR BE aE ESP ,后面 将 要 讨论 到 。 
正如 前 面 提 到 的 ,广义 卡尔 曼 滤 波 器 (EKF) 是 一 个 近似 解 , 它 允 许 我 们 将 卡尔 曼 滤波 的 思 
想 推广 到 非 线 性 状态 空间 模型 (Jazwinski, 1970; Maybeck , 1982; Ljung & Sbderstrim,1983)。 特 别 
是 ,这 里 所 考虑 的 非 线 性 状态 空间 模型 具有 如 下 形式 


x(n + 1) = F(n,x(n)) + vi(n) (10.135) 
y(n) = C(n, x(n)) + va(n) (10.136) 
如 前 所 述 ,w (n) Al mm(za) 仍 然 是 分 别 具 有 相关 和 矩阵 Qi (Cnz) 和 @(n) 且 互 不 相关 的 零 均 值 白 噪 
声 过 程 。 但 在 这 里 ,F(n,x(n)) 表 示 非 线性 转移 矩阵 函数 旦 可 能 是 时 变 的 。 在 线性 情况 下 ,有 
F(n, x(n)) = E(n + 1,n)x(n) 
在 一 般 的 非 线 性 环境 中 ,状态 x(n) 的 全 部 输入 可 通过 函数 F(n,x(n)) 的 作用 进行 非 线 性 组 
合 。 而 且 , 这 种 非 线 性 运算 可 能 是 时 变 的 。 同 样 地 ,函数 C(n,x(n)) 表 示 非 线性 测量 矩阵 , 它 
也 可 能 是 时 变 的 。 
作为 一 个 例子 ,考虑 如 下 的 二 维 非 线性 状态 空间 模型 
[|= | x(n) + x3(n) Je | | 
x(n + 1) nx,(n) 一 xi(n)x2(n) vi a(n), 
y(n) = x1(n)x3(n) + n(n) 


在 这 个 例子 中 
P(n, x(n) = | x(n) + 23(n) | 


nxi(n) 一 xi(n)x2(n) 
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C(n, x(n)) = x,(n)x3(n) 


广义 卡尔 曼 滤 波 器 的 基本 思想 是 ,在 最 近 一 次 状态 估计 的 每 一 时 刻 , 对 式 (10.135) 和 
式 (10.136) 的 状态 空间 模型 进行 线性 化 处 理 。 取 决 于 所 考虑 的 是 特殊 功能 ,处 理 结果 可 取 为 
x(mlg,) 或 x(nlg。i)。 一 旦 得 到 线性 模型 ,就 可 以 应 用 标准 卡尔 曼 滤 波 器 方程 。 

更 具体 地 说 ,这 个 近似 可 分 两 步 进行 。 


步骤 1 构造 如 下 两 个 矩阵 





Fin +1 _ 9F(n, x) 
人 二 一 ox |x=inley (10.137) 
和 
c dC(n, x) 
(n) = ax |x=%(n]%,-) (10.138) 





也 就 是 说 ,F(n +1,n) 中 第 i 行 . 第 j 列 元 素 等 于 FF(n,x) 的 第 i 分量 对 x 的 第 j 元素 的 偏 导 
数 。 同 样 地 ,C(n) 中 第 i Tt. j 列 元 素 等 于 C(n,x) 的 第 i 分量 对 x 的 第 j 元 素 的 偏 导数 。 
前 者 用 x(n1%Y,) 计 算 导 数 ,而 后 者 用 XCn1,_1) 计 算 。 和 矩阵 F(n+1,n) 和 C(n) 的 元 素 均 为 
已 知 ( 即 可 计算 ) 的 ,因为 x(n1Y,) 和 x(n1 包 ,1) 都 可 得 到 ,如 后 面 所 述 。 

将 式 (10.137) 和 式 (10.138) 的 定义 用 于 上 面 的 例题 ,我 们 得 到 


oF(n, x) _ 1 2x2 
ox n— Xo =x 





和 
C(n, 
ð K x) — [x3 2x; x2] 
于 是 可 得 
7 1 22 (n|%,) 
Fin + Ln) = p — £,(n|Y,) Tainan] 
All 


C(n) = [x3(n | Y,,-1) 2%4(n | Y,,-1)¥2(1 | %,-1)] 


步骤 2 一 旦 求 出 矩阵 F(n+1,n) 和 Cln), 就 可 以 将 它们 用 在 非 线 性 函数 F(n,x(n)) 和 
C(n,x(n)) 的 一 次 泰勒 展开 式 中 。 将 F(n,x(n)) 和 C(n,x(n)) 分 别 在 x(n1%Y,) 和 
x(mlq。i) 附 近 进 行 泰勒 展开 ,可 近似 为 

F(x, x(n)) ~ F(n, (n|¥,)) + Fln + 1,7) [x(n) — %(n|%,)] (10.139) 
和 、 
C(n, x(n)) ~ C(n, X(n|%,_1)) + C(n)[x(n) — &(n[%,-1)] (10.140) 

有 了 上 面 的 近似 表达 式 , 我 们 现在 可 以 对 式 (10.135) 和 式 (10.136) 的 非 线 性 状态 方程 进 
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行 近似 ,结果 分 别 是 


x(n + 1) = F(n + 1,n)x(n) + v,(n) + d(n) (10.141) 
和 
y(n) = C(n)x(n) + v2(n) (10. 142) 
这 里 ,我 们 引入 了 两 个 新 的 量 
¥(n) = y(n) ~ [Cn, X(n|Y,_)) — C(n)X(n|%,,-1)] (10.143) 
All 
d(x) = F(n, &(n|%,)) — F(n + 1, 2)&(n|%,) (10. 144) 


y(n) 中 的 所 有 元 素 在 n 时 刻 是 已 知 的 ,因此 ,y(n) 可 以 看 做 n 时 刻 的 观测 向 量 。 同 样 ,d(n) 
中 的 所 有 元 素 在 n 时 刻 也 是 已 知 的 。 在 线性 情况 下 ,y(n)=y(n) 和 d(n) =0。 

式 (10.141) 和 式 (10.142) 的 近似 状态 空间 模型 是 一 个 线性 模型 , 它 与 式 (10.132) 和 式 
(10.133) 表 示 的 模型 具有 相同 的 数学 形式 。 事 实 上 ,先前 我 们 将 状态 空间 模型 用 后 两 个 方程 
来 表示 , 正 是 出 于 这 一 考虑 。 将 标准 卡尔 曼 方 程 (10.127) 到 式 (10.133) 以 及 式 (10.134) 应 用 于 
前 面 所 述 的 线性 化 模型 ,就 是 广义 卡尔 曼 滤 波 器 方程 。 这 导致 如 下 一 组 方程 

K(n + 1|%,) = F(n + 1,n)x(n|%,) + d(n) 
= F(n + 1,n)&(n|¥,) + [F(n, X(n|Y,)) — Fin + 1, n)x(n|%,,)| (10.145) 
= F(n, %(n|%,,)) 
x(n|Y,,) = %(n|Y,_1) + G,(n)a(n) 
a(n) = ¥(n) — C(n)&(n|Y%,-1) 
= y(n) — Chn, (nY) + Cln Yn) Cln Y, 1) 10.146) 
= y(n) — C(n, &(n|Y,_1)) 

根据 式 (10.145) 和 式 (10.146) ,可 以 画 出 广义 卡尔 曼 滤 波 器 中 对 一 步 预 测 进行 更 新 的 信 

号 流 图 ,如 图 10.9 所 示 。 


状态 的 
可 观测 (数据 ) 一 步 预测 






x 1Y 
yn) = an Yy) 


> 





图 10.9 广义 卡尔 曼 滤 波 器 的 一 步 预测 器 


表 10.6 给 出 广义 卡尔 曼 滤 波 算法 的 总 结 。 据 此 ,可 利用 式 (10.137) 和 式 (10.138) 按 其 各 
自 的 非 线 性 矩阵 计算 线性 化 矩阵 F(n +1,n) 和 C(n)。 因 此 ,如 果 给 定 一 个 用 式 (10.135) 和 式 


第 10 章 FREBRS 397 


(10.136) 描 述 的 非 线 性 状态 空间 模型 ,就 可 以 利用 该 算法 递归 计算 出 状态 估计 。 将 这 里 总 结 
的 广义 卡尔 曼 滤 波 器 方程 与 式 (10.126) ~ 式 (10.131) 给 出 的 标准 卡尔 曼 滤波 器 方程 相 比较 ， 
可 以 看 出 它们 之 间 的 惟一 不 同 就 是 新 息 向 量 a(n) 的 计算 以 及 估 值 x(n +1Iq。) 的 更 新 计算 。 
具体 来 说 ,标准 卡尔 曼 滤 波 器 的 线性 项 F(n+ 1, n) x(niY ) A C(n) x(n! Y EP MERE 
滤波 器 中 分 别 被 近似 项 FC n x(n |Y,)) A Cln, x(n IY ,-1)) RRA. KA 10.4 所 示 标 准 卡 
尔 曼 滤波 器 的 一 步 预测 信和 号 流 图 与 图 10.9 所 示 广 义 卡尔 曼 滤 波 器 的 一 步 预测 信号 流 图 相 比 
较 , 也 可 以 看 出 它们 之 间 的 这 些 不 同 点 。 
表 10.6 广义 卡尔 曼 斌 波 器 小 结 
输入 向 量 过 程 : 
观测 值 = ty(1),y(2),--,y(n)} 
已 知 参数 ; 
非 线性 状态 转移 矩阵 =F(n,x(n)) 
APR MEM SEE = C(n,x(n)) 
EUR [a] BA FEE = Qi (n) 
测量 噪声 向 量 的 相关 矩阵 = @ (n) 
计算 :n=1,2,3,… 
G,(n) = K(n, n = 1)C"(n)[C(n)K(n, n — 1)C"(n) + Q2(n)]" 
a(n) = y(n) — C(n, &(n|Y,_1)) 
i(n Yn) = (n| Yni) + Gy(n)a(n) 
k(n + 1Y) = E(n, X(n|4,,)) 
K(n) = [I — G,(n)C(n)]K(n, n ~ 1) 
K(n + 1,7) = F(a + 1, 0)K(n)F"(n + 1,2) + Qi(n) 
TE AEE En + 1,n) 和 Cln) 分 别 利用 式 (10.137) 和 式 (10.138), 根 据 其 相应 的 非 线 性 矩阵 F(n,x(n)) 和 
Cln,x(n)) 来 计算 。 
初始 条 件 : 
%(11%) = E[x(1)] 
K(1,0) = E[(x(1) — E[x(1)])(x(1) ~ £[x(1)])"] = IT 


10.11 本 章 小 结 


卡尔 曼 滤波 器 是 具有 递归 结构 的 有 限 维 线性 离散 时 间 系 统 ,很 适合 用 数字 计算 机 实现 。 
卡尔 曼 滤 波 器 的 一 个 关键 特性 是 :卡尔 曼 滤 波 器 是 从 随机 状态 空间 模型 导出 的 线性 动态 系统 
状态 的 最 小 均 方 (方差 ) 估 计 。 
在 源 于 确定 性 最 小 二 乘 估计 的 线性 自 适 应 滤波 算法 族 中 ,卡尔 曼 滤 波 器 理论 具有 极其 重 
要 的 理论 意义 和 实际 意义 ,这 基于 下 面 两 个 原因 : 
1) 由 取 值 范围 为 0< 4 <1 的 指数 加 权 因 子 4 表征 的 递归 最 小 平方 (RLS) 滤 波 器 基本 动态 
特性 用 图 10.8 的 无 激励 动态 模型 来 描述 。 这 个 模型 为 建立 卡尔 曼 变 量 和 RIS 变量 之 
间 的 对 应 关系 提供 了 基础 。 这 些 关 系 归纳 在 表 10.3 中 ,而 且 该 表 是 在 详细 比较 表 
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10.2 的 卡尔 曼 滤波 算法 和 表 7.1 的 RLS 滤波 算法 基础 上 给 出 的 。 
2) 卡尔 曼 滤波 器 的 文献 资料 非常 丰富 。 因 此 ,我 们 可 以 利用 这 些 文献 导出 RLS 滤波 器 的 
变形 算法 , 即 平方 根 RLS 滤波 器 和 阶 递归 RLS 滤波 器 ,正如 第 11 章 和 第 12 章 将 分 别 
证 明 的 。 虽 然 这 些 算法 为 人 们 所 了 解 已 有 很 长 时 间 ,但 正 是 在 卡尔 曼 滤 省 器 理论 中 ， 
人 们 才 有 了 以 统一 方式 对 它们 进行 推导 的 数学 基础 。 
大 量 的 评论 认为 ,信号 处 理 和 控制 理论 中 的 许多 问题 在 数学 上 是 等 效 的 。 而 据 我 们 所 知 ， 
卡尔 曼 滤 波 器 理论 源 于 控制 文献 ,本 章 确立 的 卡尔 曼 滤 波 器 与 线性 自 适应 滤波 器 之 间 的 联系 
进一步 贴切 地 说 明了 这 种 “数学 等 价 性 "的 合理 性 。 


10.12 习题 


1. Gram-Schmidt 正 交 化 过 程 ,可 以 将 一 组 观测 向 量 y(1),y(2),… ,y(n) 变 换 为 一 组 新 息 过 程 
0(1),a(2),…,a(n), 而 不 会 损失 任何 信息 ,反之 亦 然 。 试 对 n = 2 的 情况 说 明 这 个 过 程 ， 
并 就 n >2 的 情况 对 该 过 程 发 表意 见 。 

2. 预测 状态 误差 向 量 定义 为 

e(n,n — 1) = x(n) — X(n|%,_,) 
KP x(n IY: ) Fe AES AY, [ 由 观测 数据 yY(1) ,…,y(z - 1) 张 成 的 ] 时 状态 x(n) AY 
最 小 均 方 估计 。 令 v.(n) 和 和 v (an) 分 别 表 示 过 程 噪声 向 量 和 测量 噪声 向 量 。 试 证 明 
E(n,n 一 1) 与 y(n) 和 v,(n) 都 正 交 , 即 证 明 
Ele(n,n — 1)w#(n)] = 0 
和 
Ele(n,a — 1)v#(n)] = O 

3. 考虑 一 组 零 均值 的 标量 观测 数据 y(=) , 现 将 它们 变换 为 一 组 均值 为 零 方差 为 oln) bA 

息 a(n)。 给 定 这 组 数据 ,将 状态 向 量 x(i) 的 估计 表示 为 


Kil) = È b(k)aCk) 
其 中 ,是 由 y(1),…,y(n) 生 成 的 空间 ,而 b, (k), k=1,2, n 是 一 组 待定 向 量 。 要 求 是 
选择 b,(%) ,使 得 估计 状态 误差 向 量 
e(i|Y,,) = x(i) 一 x(i|,,) 
范 数 平方 的 期 望 值 最 小 。 试 证 明 该 最 小 化 得 到 结果 
lia) = D EKAk) 
其 中 


= 


oh) = 
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是 归 一 化 新 息 。 该 结果 可 以 看 做 式 (10.37) 和 式 (10.40) 的 特殊 情况 。 
. 式 (10.49) 定 义 的 卡尔 曼 增 益 G(m) 包 含 道 矩阵 R (n) FR R(n) 本 身 由 式 (10.35) 定 
义 , 即 

R(n) = C(n)K(n, n — 1)C"(n) + Q,(n) 


HE C(n) 是 非 负 定 阵 (AA EE E, 
(a) 为 什么 R(n) 是 非 负 定 的 ? 
(b) 为 了 保证 逆 和 矩阵 R (nz) 存 在 ,对 和 矩阵 Q,(n) 应 施加 什么 样 的 先决 条 件 ? 
. 在 许多 情况 下 ERKA n ATERN ,预测 状态 误差 相关 年 阵 Kn + 1,n) 收 敛 于 稳 态 
值 K, WEIR BRA K YE Riccati 代数 方程 
KC” (CKC¥ + Q,)'CK - Q, = 0 


其 中 ,假定 状态 转移 矩阵 等 于 单位 阵 , 且 矩阵 C.Q AQ 分 别 是 C(n)、Q,(n) 和 Q,(n) 的 
极限 值 。 
. 某 二 阶 跟 踪 系 统 的 状态 空间 方程 为 


x(a +1) = | 1 eo + vi(n) 
y(n) = [1, O}x(n) + n(n) 
过 程 噪声 v (EARE REEE TS HRE, SRA WERE vy,(n) 是 均 
值 为 零 .方差 为 1 的 白 噪声 。 
(a) 利用 表 10.2, 用 公式 表示 计算 卡尔 曼 滤 波 器 的 递归 过 程 。 
(b) 假定 可 以 应 用 习题 5 中 给 出 的 Riccati 代数 方程 ,计算 满足 该 方程 的 矩阵 KK; 并 由 此 确 
定 相应 的 卡尔 曼 增 益 。 

. 在 本 题 中 ,考虑 由 如 下 差分 方程 


M N 
y(n) + Dy a(n) y(n —k)= Cure(n) vn —k) + x(n) 


描述 的 时 变 实 值 ARMA 过 程 y(n) 的 一 般 情况 ,其 中 aln), a(n), s ay (0), aya (nr), 

Qy.2(n),...5 ayın (n) Fe ARMA 系数 ,过 程 y(n) 为 其 输入 , 过程 y(n) 为 其 输出 。 过 程 

(7z) 是 均值 为 零 FHA d 的 高 斯 白 噪声 过 程 。ARMA 系数 随机 波动 ,可 用 模型 表示 为 
a(n + 1) = a(n) + win) k=1,...,.M+N 

其 中 w (ee BASH RARE, AS wln) Gk AEI, EE vn HATA 

立 。 我 们 感 兴趣 的 问题 是 找到 一 种 基于 卡尔 曼 滤 波 器 的 方法 以 辨识 ARMA 过 程 的 系数 。 

为 此 ,定义 一 个 (M+ NN) 维 状态 向 量 


x(n) = [a,(#) genes au(N),..-.@yen(n)]| 
并 定义 测量 矩阵 (实际 上 是 行 向 量 ) 
C(n) = [-y(n - 1),..., y(n — M),v(n — 1),..., v(n — N)] 


以 此 为 基础 ,完成 下 列 工作 : 
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(a) 给 出 ARMA 过 程 的 状态 空间 方程 。 
(b) 在 给 定 观测 值 y(n ) 的 情况 下 , 找 出 一 种 计算 状态 向 量 x(n + 1) 预 测 值 的 算法 。 
(c) 怎样 对 (b) 中 的 算法 进行 初始 化 ? 
(d) 本 题 中 用 到 的 卡尔 曼 滤 波 器 不 是 最 优 的 。 为 什么 ? 
8. 考虑 某 通 信 信 道 建 模 为 一 个 已 知 脉冲 响应 的 FIR 滤波 器 。 信 道 的 输出 定义 为 
y(n) = hix(n) + v2(n) 


其 中 ,h 是 表示 信道 脉冲 响应 的 M x1 向量 。x(n) 是 Mx1 向 量 ,用 来 表示 信道 输入 的 当前 
值 w(n) 以 及 前 面 的 M -1 PRUE, v (n) 是 均值 为 零 .方差 为 of 的 高 斯 白 噪声 过 程 。 在 n 
时 刻 ,信道 输入 uw(n) 是 由 0 和 1 组 成 的 二 进 制 码 流 , 且 与 y(n) 统 计 独 立 。 该 模型 暗示 ,我 
们 可 以 将 x(n) 看 做 状态 向 量 。 在 这 种 情况 下 ,状态 方程 可 写 为 

x(n + 1) = Ax(n) + bvi(n) 


其 中 v,(n) 是 均值 为 零 . 方 差 为 oi 的 高 斯 白 噪 声 过 程 , 且 与 v,(n) 相 互 独立 。A 是 Mx M 
矩阵 ,其 第 i 行 、 第 j 列 元 素 为 


= i=j+1 
uT lo 其 他 


b 是 Mx 1 向量, 其 第 i 个 元 素 为 
= i=1 
i 0 i=2,...,M 


现在 的 问题 是 :给 定 前 述 的 信道 模型 和 信道 输出 端 噪声 测量 的 序列 y(n), 利 用 卡尔 曼 滤 波 
器 构造 一 个 均衡 器 ,以 便 在 一 段 时 延 (z + D)( 其 中 0<D<M - 1) 后 得 到 信道 输入 wu(n) 的 
一 个 良好 估 值 。 试 证 明 这 样 构造 的 均衡 器 是 一 个 IIR 滤波 器 ,其 系数 由 两 组 不 同 的 参数 确 
定 :(a)M x1 信道 脉冲 响应 向 量 ;(b) 卡 尔 曼 增益 ,此 题 中 它 是 一 个 M x1 向量 。 
9. 利用 式 (10.71) 和 式 (10.72) 给 出 的 初始 条 件 ,证 明 由 卡尔 曼 滤波 器 得 到 的 滤波 估计 
x(n1%Y, ) 是 无 偏 的 , 即 证 明 
E[&(n)|U(n)] = x(n) 

10. 第 10.4 节 介 绍 的 卡尔 曼 滤 波 器 是 基于 最 小 均 方 误差 估计 导出 的 。 本 题 中 ,我们 研究 另 一 
种 推导 卡尔 曼 滤 波 器 的 方法 , 即 基 于 最 大 后 验 概率 (MAP, maximum a posteriori probability ) 
准则 的 推导 。 推 导 中 ,假设 过 程 噪声 y,(n) 和 测量 噪声 mm:(m) 皆 为 零 均 值 的 高 斯 过 程 ,其 
FASE EES BE Q, (n) Qn) FA fy (x(n) IY, RATER EY , [表示 观 测 值 y(1),…， 
y(n) 的 集合 ] 条 件 下 x(n) 的 条 件 概 率 密度 函数 (pdf)。 用 Xwap (2) BAN X( m) AY MAP 估计 ， 
EAH fi; (x(n) 1%, ) 或 其 对 数 取 最 大 值 时 x(n) 的 特殊 值 。 这 项 计算 要 求 对 于 如 下 条 
件 

aln fy(x(n)|Y,) 
x(n) x(n)=Eyar(n) (1) 


求解 方程 ,而 且 证 明 
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oInfx(x(n)| Y,) 
ox(n) x(n) uarn) 一 0 (2) 


(a) 利用 贝 叶 斯 (Bayes) 准 则 ,将 fy (x(n) 1Y, ) 表 示 为 
fxy(x(n), ) 
fr(Y,) 

根据 联合 概率 密度 函数 的 定义 ,上 式 还 可 以 表示 为 


fxr(X(1), y(n), Yn-1) 
fr(y(n),Y,-1) 


fxn) Ya) = 


fx(x(n)|%,,) 


由 此 证 明 
_ feln) xln)) fxn) Ya-1) 
Fr(y(1),%,-1) 
(b) 利用 过 程 噪声 v (n) 和 测量 y(n) 的 高 斯 特性 ,导出 fy(y(n)1x(n)) 和 f(x(n)1 
Ya ORREK. RK, AA (y(n)19,-1) 与 状态 x(n) 无 关 , 故 可 看 做 常数 。 试 给 
Mfr (x(n) 1Y, ) 的 表达 式 。 
(o) 将 (b) 的 结果 代 和 人 式 (1) ,根据 矩阵 求 逆 引 理 , 导 出 xywp(n) 的 表达 式 ,并 证 明 它 与 第 
10.4 节 导 出 的 卡尔 曼 滤 波 器 表达 式 相同 。 
(a) 利用 式 (2) ,证 明 (e) 中 得 到 的 MAP 估计 xywp(n) 确 实 满足 该 式 。 
11. 考虑 一 个 由 无 噪声 状态 空间 模型 





fxlx(n)|Y,) 


x(a + 1) = Fx(n) 
y(n) = Cx(n) 
描述 的 线性 动态 系统 ,其 中 x(n) 是 状态 ,y(n) 是 观测 值 ,F 是 转移 矩阵 ,C 是 测量 矩阵 。 
(a) 证 明 
X(n|Y,) = FUL — G(n)C)&(n|%, 4) + CG(n)y(n) 
a(n) = y(n) 一 Cx(n|%,_1) 
其 中 GERRENA, a(n) RBA. IA G(n) 如 何 定义 ? 
(b) 根据 (a) 中 的 结果 ,证 明 卡 尔 曼 滤波 器 是 白化 滤波 器 ,因为 它 产生 响应 y(m) 的 “白色 ” 
估计 误差 。 

12. 令 K,(n) 表 示 状态 误差 向 量 x(n) -x(n1Y,1) 和 测量 误差 向 量 y(n) - y(n IY, ZH 
的 互相 关 和 矩阵 。 令 K,,(n) 表 示 测 量 误差 向 量 y(n) -了 (n1%Y,_1) 的 相关 矩阵。 证 明 式 
(10.125) 中 的 修正 卡尔 强 增益 Gr(n) 可 用 这 两 个 相关 和 矩阵 定义 为 

Gan) = K,y(1)K5}(n) 


13. 本 题 中 ,我们 探讨 建立 表 10.3 中 所 介绍 的 某 些 对 应 关系 的 另 一 种 过 程 。 $ 
(a) 从 图 10.7 的 多 重 回归 模型 出 发 建立 由 RLS 滤波 器 的 输入 向 量 u(i se 
d( 让 ,i=0,1,-…,n 的 线性 方程 组 。 Al 
(b) 从 图 10.8 $e ahs 6 Seo SEAR OARS x( 7) XMM with : 





17. 


18. 
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y(i) ,i=0,1,…,n 的 线性 方程 组 。 
(c) 利用 (a) 和 (b) 中 的 结果 ,导出 下 列 RLS 滤波 器 和 卡尔 曼 滤 波 器 之 间 的 等 式 
x(0) = wo 
y(n) = A*?a*(n) 


p(n) = A” ež(n) 


. RLS 滤波 器 的 过 程 方程 (10.102) 将 状态 的 演变 描述 为 


x(n + 1) = Ai2x(n) 


其 中 指数 加 权 因 子 4 的 取 值 范围 为 0<X<1。 当 <1 时 ,状态 x(n) 的 欧 氏 范 数 随时 间 
无 限 增长 。 然 而 实际 上 RLS 滤波 器 运行 中 并 没有 出 现 这 种 似乎 异常 的 现象 。 为 什么 ? 


. 表 10.3 的 最 后 两 项 是 卡尔 曼 变 量 和 RLS 变量 之 间 初 始 条 件 的 对 应 关系 。 请 证 明之 。 
. 在 UD 分解 算法 中 ,滤波 状态 误差 相关 和 矩阵 表示 为 


K(n) = U(n)D(n)U*(n) 


其 中 U(n) 是 主 对 角 线 元 素 为 1 的 上 三 角 阵 ,D(n) 是 实 对 角 阵 。 令 1 和 A rin DP BEAR HE 
阵 K(n) 的 最 大 和 最 小 特征 值 。 试 证 明 对 角 阵 D(n) 的 条 件数 由 下 式 控制 


Amax 
x(D) = = x(K) 





令 XK) 表 示 滤 波状 态 误差 相关 和 矩阵 K(n) 的 条 件数 ,定义 为 最 大 特征 值 ne B/E 
hms 之 比 。 试 证 明 

x(K) = (x(x) 
其 中 K” (n) Æ K(n) 的 平方 根 。 该 关系 式 意味 着 什么 ? 


考虑 式 (10.132) 和 式 (10.133) 表 示 的 状态 空间 模型 。 证 明 该 模型 中 状态 向 量 的 一 步 预 测 
x(n+11Y,) (10.134) 44, 
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使 用 第 9 章 的 RLS 算法 时 所 遇 到 的 一 个 问题 就 是 数值 不 稳定 性 ;这 是 因为 采用 了 Riccati 
差分 方程 造成 的 。 在 经 典 卡尔 曼 滤波 算法 中 ,由 于 相同 的 原因 ,也 会 出 现 这 样 的 问题 。 第 10 
章 已 经 指出 ,卡尔 曼 滤波 器 中 的 不 稳定 性 (发 散 ) 问 题 可 采用 其 平方 根 变 形 来 改善 。 在 该 处 讨 
论 中 ,由 于 还 不 需要 用 到 平方 根 卡 尔 曼 滤波 ,我 们 没有 对 它 进 行 详细 的 讨论 。 本 章 从 下 一 节 开 
始 ,将 对 它 进行 全 面 的 讨论 。 由 于 卡尔 曼 变 量 和 前 一 章 建立 的 RLS 变量 之 间 存 在 着 一 一 对 应 
关系 ,平方 根 卡 尔 曼 滤波 问题 的 解 为 得 出 相应 的 平方 根 RLS 算法 提供 了 条 件 。 


11.1 平方 根 卡尔 曼 滤 波 器 


卡尔 曼 滤 波 器 中 协 方差 类 型 的 递归 形式 传递 矩阵 Kn) ,该 矩阵 表示 滤波 器 状态 估计 中 
误差 的 自 相 关 和 矩阵 ;该 传递 方式 通过 Riccati 差分 方程 来 实现 。 另 一 方面 ,平方 根 卡尔 曼 滤 波 
器 中 的 递归 形式 传递 一 个 由 有 (1) 定 义 的 平方 根 下 三 角 阵 K”(n)。K(n) 与 K”(n) 之 间 的 关 
系 定义 如 下 

K(n) = K'?(n)K"?(n) (11.1) 
其 中 ,上 三 角 阵 KY(n) 为 K“(n) 的 埃 尔 米 特 转 置 。 不 像 协 方差 卡尔 曼 滤波 器 中 的 情况 , 相 
KERE (nz) 的 非 负 定 特性 是 根据 任何 平方 矩阵 与 其 埃 尔 米 特 转 置 的 乘积 总 是 非 负 确 定性 矩 
阵 的 性 能 而 保持 的 。 

在 本 节 中 ,我 们 将 推导 出 卡尔 曼 滤波 器 协 方差 以 及 信息 实现 的 平方 根 形式 。 然 而 ,考虑 到 

算法 的 变形 ,我 们 把 注意 力 集中 于 第 10.8 节 给 出 的 特殊 无 激励 动态 模型 。 在 该 模型 中 ,有 
x(n 十 1) = AAx(n) (11.2) 

和 

y(n) = CODEC) + v(n) (11.3) 
其 中 x(n) 为 状态 向 量 , 行 向 量 an AWE Ee y(n) 为 观测 或 参考 信号 ,标量 v(n) 是 
均值 为 零 THEA 1 的 白 品 声 序列 , 正 实 数 标 量 4 为 该 模型 的 一 个 常数 。 式 (11.2) 和 式 (11.3) 
分 别 与 式 (10.102) 和 式 (10.103) 相 同 ,这 里 再 次 写 出 是 为 了 表示 方便 。 在 继续 平方 根 卡 尔 曼 
滤波 器 的 推导 之 前 , 先 来 考虑 一 个 对 我 们 现在 的 讨论 非常 关键 的 矩阵 代数 学 引 理 。 


11.1.1 FERRO S| 


假设 有 任意 两 个 Wx M BERE A 和 B, 其 中 NaM, EERTE (Stewart, 
1973; Golub & Van Loan, 1996; Sayed & Kailath, 1994) 
AA® = BB? (11.4) 
当 且 仅 当 存在 下 面 的 归 一 矩阵 @ 使 得 
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B = AO (11.5) 
成 立 。 容 易 发 现 
BB’ = AGO" A” (11.6) 
由 归 一 和 矩阵 的 定义 ,有 
00” =I (11.7) 


其 中 工 为 单位 阵 。 因 此 , 式 (11.6) 立 即 简化 为 式 (11.4). 
相反 , 式 (11.4) 中 描述 的 等 同性 表明 和 矩阵 A 和 B 必定 有 某 种 关系 。 我 们 可 以 采用 单一 值 分 
解 定 理 ,来 证 明和 矩阵 因子 分 解 定理 的 闭 命 题 的 含义 。 这 样 ,矩阵 A 可 以 分 解 为 ( 见 第 8.11 节 ) 
A = U5, V (11.8) 
其 中 Us AV, HA Nx NAM x MARERE, >。 为 由 矩阵 A 定义 的 Nx MERE, SH, 
第 二 个 矩阵 B 可 分 解 为 


B= U; XVE (11.9) 
恒等式 AA* = BBY 意味 着 我 们 有 
- U, = Us (11.10) 
和 
Ea = Ep (11.11) 
现在 , 令 
@ = V, Vi (11.12) 


利用 式 (11.8) 和 式 (11.12) 来 求 矩阵 乘积 AO; 根据 式 (11.9) ~ 式 (11.11) ,我 们 得 到 B。 这 一 结 
果 准 确 地 表达 了 怎 阵 分 解 定 理 的 道 命题 含义 。 


11.1.2 平方 根 协 方差 滤波 器 


现在 回 到 平方 根 卡尔 曼 滤 波 问题 ,注意 到 协 方 差 卡尔 曼 滤 波 器 的 Riccati 差分 方程 可 以 表 
示 为 (通过 表 10.4 中 第 一 行 和 最 后 一 行 算法 的 结合 ) 


K(n) = AK(n — 1) — A*K(n — Daln)r (nu (n)K(n — 1) (11.13) 
标量 r(n) 为 滤波 估计 误差 的 协 方差 且 定 义 为 
r(n) = u"(n)K(n — 1)u(n) + 1 (11.14) 
下 面 四 个 不 同和 矩阵 构成 了 Riccati 方程 (11.13) 右 边 的 项 : 
9 标量 : uf(n)K(n — 1)u(n) + 1 
e 1x M 向 量 : Au (n)K(n — 1) 
e M x1 向 量 : NA2K(n — 1)u(n) 
è Mx MER: A'K(n — 1) 


考虑 到 这 四 项 维 数 的 兼容 性 ,可 采用 包含 K(m) 全 部 信息 的 块 矩阵 来 排列 这 四 项 : 
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_ | u”(n)K(n — 1)u(n)+1 Au” (n)K(n — 1) 
H(n) = | — 1u(n) AKC — 1) | (11.15) 
将 相关 矩阵 K(n - 1) 用 其 分 解 的 形式 表示 ,有 
K(n — 1) = Ki?(n — 1)K”#(n — 1) (11.16) 


考虑 到 和 矩阵 An ) 为 非 负 确 定 和 矩阵 ,我们 可 采用 Cholesky 分 解 来 表示 式 (11.15) 为 


_ | 1I u"(n)K'(n — 1) 1 or 
H(n) = E 和 -12KUV2(7 — 1) | [ats —1)u(n) A™2KE/?{n 一 | (11.17) 


其 中 0 表示 零 向 量 。 
式 (11.17) 右 边 的 矩阵 乘积 可 以 理解 为 矩阵 A 与 其 埃 尔 米 特 转 置 矩 阵 OA” 的 乘积 。 这 就 
为 采用 和 矩阵 分 解 引 理 创造 了 条 件 , 根 据 这 个 引 理 ,可 以 写 出 








1 u”(n)K!(n 一 D _ Ke 0” | 
[o rn 1) [P= | win) Bln) (11.18) 
A B 


这 里 ,@(n) 为 西 旋转 (unitary rotation) ,标量 b, (n) AE ba (nz) 和 矩阵 By (n) RARE B 中 的 
非 零 块 元 素 。 在 式 (11.18) 中 ,我们 可 以 区 分 两 种 阵列 : 
© 前 阵列 (prearay)A, 它 进行 酉 旋转 运算 ; 
© 后 阵列 (postarray)B, 它 用 酉 旋转 而 引起 的 零 块 (block zero entry) 来 表征 。 因 此 后 阵列 具 
有 块 意义 上 的 “三 角形 ”结构 。 
为 了 计算 后 阵列 的 未 知 的 块 元 素 baba 和 By ,我 们 将 式 (11.18) 的 两 边 取 平方 。 则 容易 
th O(n) ABE, MITA n,@(n)@*(n) 等 于 单位 阵 , 于 是 可 以 写 出 


F u” (n)K!?(n 一 o| | 1 07 | 
0 和 OK — 1) KZ —1)u(n) PK"? (n — 1) 








A Au 
(11.19) 
= [fam JL | 
b(n) Ba(n) 0 By,(n) 
B Bt 

BE RR RP RS eek (11.19) BIH AAR, AT LASS PS ph ek 
b(a)? = u” (n)K(n — 1)u(n) + 1 = r(n) (11.20) 
by 1(2)b#, (n) = A™K(n — 1)u(n) (11.21) 
b.1(7)b3i (2) + Bo2(n)Bi(n) = A'K(n — 1) (11.22) 

为 了 满足 式 (11.20) ~ (11.22) ,必须 满足 如 下 条 件 

b(n) = ri2(n) (11.23) 
bai(n) = A'?K(n — 1)u(n)r?(n) = g(n)r!?(n) (11.24) 
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B,»(n) = K’?(n) (11.25) 


其 中 第 二 行 的 g(m) 表 示 卡 尔 曼 增 益 ,其 定义 在 表 10.4 的 第 一 步 计算 中 给 出 。 
因此 ,我 们 可 将 式 (11.18) 重 新 写 为 


1 uf(n)K'?(n - 1) _ rn) 07 
$ AK! (n — 1) Jow ~ Pace Kn | (11.26) 
式 (11.26) 中 前 后 阵列 中 的 块 元 素 值得 进行 仔细 研究 ,因为 它们 揭示 了 各 自 的 特性 : 


o 前 阵列 中 的 块 元 素 AK"? (n - 1) Au" (nn) KK"? (n -1) 惟 一 地 表征 了 除 r(n) 外 的 式 
(11.13) 右 边 变量 的 组 成 。 对 应 地 ,后 阵列 中 的 块 元 素 K”(n) 提 供 了 需要 更 新 前 阵列 
的 量 ,从 而 启动 算法 的 下 一 次 迭代 。 

o 前 阵列 中 包含 的 块 元 素 1 和 0, 导 致 后 阵列 中 产生 两 个 块 元 素 , 即 r*(n) 和 g(n)r*(n)。 
由 这 两 个 块 元 素 可 能 计算 出 两 个 有 用 的 变量 ;卡尔 曼 增益 g(n) 和 滤波 估计 误差 的 协 方差 
r(n), 它 通过 将 标量 项 简单 地 取 平 方 即 可 得 到 。 卡 尔 曼 增益 也 可 以 通过 将 g(n)r*(n) 除 
以 过 (na) 而 简单 得 到 。 

在 后 一 结果 的 基础 上 ,我 们 现在 很 容易 更 新 状态 估计 为 

k(n + 1[Y,) = A(n Yn) + g(n)a(n) (11.27) 
其 中 
a(n) = y(n) — u” (n)x(n|%,-1) (11.28) 
为 新 息 。 
式 (11.28) 和 式 (11.27) 分 别 来 自 表 10.4 的 第 二 个 和 第 三 个 计算 步骤 。 表 11.1 的 第 一 部 
分 总 结 出 平方 根 协 方差 滤波 算法 中 所 涉及 的 计算 (Sayed & Kailath,1994)。 该 算法 的 初始 化 与 
常规 协 方 差 卡 尔 曼 滤波 算法 完全 相同 ( 见 表 10.4)。 
表 11.1 平方 根 卡 尔 曼 滤 波 器 计算 小 结 
1. 平方 根 协 方差 滤波 器 
uf n 1/2 n- rife n T 
区 et — ) [om 7 Pace xm | 
a(n) = (gn) (n) (rn) 
a(n) = y(n) — w?(n)x(n|Y,_,) 
gn + 1[%,) = A(n Yn) + g(n)a(n) 


2. 平方 根 信息 滤波 器 
MAK Hn — 1) A ?u(n) K#?(n) 0 
K4(n|%,-)K #7 (n — 1) y*(n) (O(n) = | tA(n + 1|Y,)KE?(n) 1? (n)a*(n) 
o 1 Aa” (n)K"?(n) rn) 
R(n + 1/%,) = (k(n + 1 YK nK (六 


表 注 :在 两 个 滤波 器 中 ,@(n) 是 西 旋转 , 它 在 后 阵列 的 第 一 行 产生 一 个 零 块 元 素 。 


11.1.3 平方 根 信息 滤波 器 
下 面 考虑 卡尔 曼 滤波 算法 的 平方 根 实现 , 它 不 是 传递 K(n) 本 身 而 是 其 道 矩 阵 K-!'(n)。 
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这 种 形式 对 初始 不 确定 性 很 大 的 情况 [ 即 相关 和 矩阵 KK(0) 初 始 值 I 很 大 的 情况 ] 特 别 有 用 。 
表 10.5 列 出 了 信息 滤波 算法 的 总 结 。 这 里 为 了 表述 方便 ,再 次 写 出 该 算法 前 两 个 递归 式 


K"(n) = AK1(n — 1) + Au(n)u“(n) -= (11.29) 
K'(n)%(n + 11%) = XPK? (n — 1)8(n|%,_1) + Au(n)y(a) (11.30) 

令 道 矩 阵 KK- (n) 用 其 分 解 形式 表示 为 
K"(n) = K #2(n)K (n) (11.31) 


将 式 (11.29) 和 式 (11.30) 用 其 埃 尔 米 特 转 置 的 形式 表示 ,显然 将 更 为 方便 。 于 是 ,将 这 两 个 表 
达 式 右边 的 四 个 量 用 其 分 解 的 形式 表示 为 
AK (n — 1) = (LE — RR Rn — 1)) 
àu(n)u” (n) = (A u(n) (Auf Cn)) 
APR (n| Yna) K (n — 1) = (R(n Ypa) Ka — AK a — 1)) 
AM? y*(nyu(n) = (y*(n))A 2a(n)) 


现在 ,可 采用 下 面 成 对 的 方式 来 识别 前 阵列 中 作为 块 元 素 的 因子 : 
© PK Y(n -1) 和 AAWYu(n), 其 维 数 分 别 为 MxM 和 M x1。 
@ x nly )K Rn 1) Aly" (n), HERGA IxM MIx 


就 前 阵列 而 言 ,由 于 前 两 个 因子 分 别 为 矩阵 和 向 量 ,因而 自然 相 容 ;后 一 对 因子 作为 行 向 量 的 
兼容 性 是 因为 式 (11.29) 和 式 (11.30) 采 用 了 埃 尔 米 特 转 置 。 于 是 ,可 重新 构造 如 下 前 阵列 


AKEn — 1) Al/2u(n) 
x" (n|%,_,)K 2(n - 1) y*(n) 
0 1 


加 上 由 M 个 零 和 一 个 1 所 组 成 的 最 后 一 行 是 为 了 给 后 阵列 中 的 卡尔 曼 变量 提供 空间 (Morf & 
Kailath, 1975; Sayed & Kailath,1994)。 下面 ,假设 选择 本 旋转 量 @(n) 对 前 阵列 进行 变换 ,从 而 
在 后 阵列 顶 行 的 第 二 个 元 素 处 产生 零 块 , 即 


AL2K HA2(n — 1) Al2u(n) Bfi(n) 0 
(n| YK HA — 1) y*(n) |@(n) = | bi(n)  bġ(n) (11.32) 
07 1 b(n) bhn) 


实际 上 ,经 过 这 种 变换 ,消除 了 前 阵列 中 的 向 量 M2u(n)。 通 过 采用 与 平方 根 协 方差 滤波 器 类 
似 的 方法 [ 即 对 式 (11.32) 的 两 边 取 平方 ,然后 比较 所 得 到 的 等 式 两 边 各 自 的 项 ] ,我 们 可 将 后 
阵列 块 元 素 选择 为 (见习 题 1) 


B{i(n) = K “2(n) (11.33) 
bä (n) = EH(n + 1|%,)K#/(n) (11.34) 
bsi(n) = Au” (n)K!?(n) (11.35) 


b(n) = r/?(n)a*(n) (11.36) 
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b(n) = r™(n) (11.37) 
对 应 地 ,可 将 式 (11.32) 写 成 如 下 所 期 望 的 形式 


N?PK “2(n — 1) MN? u(n) 
x7 (n|%,_,)K4/?(n — 1) y*(n) |O(n) 
07 1 


K #2(n) 0 (11 .38) 
=| 人 (na + 1|%,)K-?/(n) r'?(n)a*(n) 
Au” (n)K'/?(n) rn) 


后 阵列 中 的 块 元 素 提 供 了 两 组 有 用 的 结果 : 


1) 更 新 的 前 阵列 块 元 素 : 

o 更 新 的 平方 根 K” (n), H BA(n) 给 出 。 

o TIRER x8 (n+ 11Y,)K (n), H bi (n) E. 
2) 其 他 卡尔 要 变量 : 

9 变换 因子 rn) ,通过 将 实数 bs,(n) 取 平方 得 到 。 

© 新 息 项 a(n), 通 过 用 bw,(n) 除 b3(n) 来 得 到 。 


更 新 的 状态 估计 x(n + 11%, ) 通 过 式 (11.34) 中 的 上 三 角 系 统 得 到 ,其 中 K n) HR 
(11.33) 得 到 。 具 体 而 言 ,可 以 通过 回 代 的 方法 (method of back-substitution ) ,利用 平方 根 矩 阵 
K-?(n) 的 上 三 角 结 构 计算 x(n + 119, ) METER. 

表 11.1 的 第 二 部 分 总 结 了 平方 根 信息 滤 波 算 法 ,该 算法 的 初始 化 与 表 10.5 相同 。 

表 11.1 中 总 结 的 平方 根 协 方差 滤波 器 和 平方 信息 滤波 器 具有 一 个 共同 点 :两 者 从 一 次 和 迭 
代 到 下 一 次 所 需 的 运算 次 数 (乘法 和 加 法 次 数 ) 都 是 OM?) ,其 中 M 为 状态 维 数 。 


11.2 在 卡尔 曼 滤 波 器 基础 上 构建 平方 根 自 适 应 滤波 器 


前 一 节 描 述 的 卡尔 曼 滤波 器 的 平方 根 变形 ,为 导出 平方 根 自 适应 姜 波 算法 提供 了 总 体 框 
架 ; 该 算法 采用 指数 加 权 递 归 最 小 二 乘 (RLS) 估 计 。 其 根据 是 第 10 章 中 卡尔 曼 变量 与 RLS 变 
量 之 间 的 一 一 对 应 关系 。 

RLS 估计 中 两 个 重要 的 平方 根 自 适应 滤波 算法 称 为 QR-RLS HK ABE QR-RLS HHA. HK 
用 这 一 术语 的 原因 是 因为 该 算法 的 导出 传统 上 都 依赖 于 一 种 或 男 一 种 形式 的 正 交 三 角形 化 的 
过 程 , 这 一 过 程 在 矩阵 代数 学 中 称 为 QR 分 解 。 在 自 适应 滤波 中 采用 QR 分 解 的 动因 是 由 于 其 
良好 的 数值 特性 。 

矩阵 A(n) 的 QR 分 解 可 以 写 为 (Stewart,1973; Golub & Van Loan, 1996) 


Q(n)A(n) = [o | (11.39) 


其 中 Q(n) 为 单位 阵 ,R(n) 为 上 三 角 和 矩阵 ,O 为 零 矩 阵 。 由 于 变换 中 大 量 使 用 Q 和 R, 故 称 其 
为 “QR 分 解 "。 出 于 同样 的 原因 ,基于 QR 分 解 的 自 适 应 RLS 滤波 算法 也 称 为 “QR-RIS 算法 ”。 
通常 ,指数 加 权 RLS 估计 QR-RLS 算法 的 推导 起 源 于 数据 矩阵 的 预 加 窗 处 理 , 而 后 采用 QR 分 
解 进行 三 角形 化 。 根 据 第 11.2 节 的 内 容 , 这 些 自 适 应 滤波 算法 可 以 直接 从 它们 对 应 的 平方 根 
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卡尔 曼 滤波 器 得 出 ,从 而 达到 两 个 非常 理想 的 目标 ;: 


o 统一 处 理 指数 加 权 RLS 估计 的 QR-RLS 自 适 应 滤波 算法 。 
o 巩固 了 确定 性 RLS 估计 理论 与 随机 卡尔 曼 滤 波 器 理论 之 间 的 联系 。 


在 本 章 的 其 余部 分 ,我 们 采用 这 一 方法 来 推导 不 同 的 QR-RIS 自 适应 滤波 算法 。 考 虑 这 些 算 法 
的 顺序 ,按照 处 理 RLS 估计 理论 的 常规 顺序 ,而 不 是 表 11.1 总 结 的 平方 根 卡尔 曼 滤波 器 的 顺序 。 


11.3 QR-RLS 算法 


QR-RLS 算法 ,或 者 更 确切 地 说 是 基于 QR 分 解 的 RLS 算法 ,其 名 字 来 源 于 如 下 考虑 :在 自 
适应 滤波 算法 的 有 限 脉冲 响应 (FIR) 实 现 中 ,是 通过 直接 处 理 经 QR 分 解 的 输入 数据 矩阵 来 完 
成 最 小 二 乘 权 向 量 的 计算 ,而 不 像 标准 RLS 算法 那样 是 通过 处 理 输入 数据 的 (时 间 平 均 ) 相 关 
矩阵 (Gentleman & Kung,1981; McWhirter, 1983; Haykin,1991) 来 完成 权 向 量 计 算 的 。 因 此 ,QR- 
RLS 算法 在 数值 上 比 标准 的 RLS 算法 更 稳定 。 

假设 对 输入 数据 进行 预 加 窗 ,数据 矩阵 定义 为 

A"(n) = [u(1), u(2),..., u(M),... u(n)| 


ful) u(2) + u(M) > u(n) 
O ul) «+ u(M-1) … u(n — 1) (11.40) 
0 0 e u(1) (一 M + 1) 


其 中 MM 为 FIR 滤波 器 系数 的 数目 ( 即 滤波 器 阶 数 )。 相 应 地 ,输入 数据 的 自 相关 矩阵 定义 为 
P(n) = Dua) 


= Al (n\A(n)A(n) 


(11.41) 


Fp ae 
A(n) = diag (a7, a"™?,..., 1] (11.42) 

称 为 指数 加 权 和 矩阵 ,A 为 指数 加 权 因 子 。 式 (11.41) 表 示 最 小 二 乘法 的 式 (8.45) 的 推广 。 
从 第 9 章 可 知 ,用 于 推导 RLS 算法 的 矩阵 P(n) 定 义 为 时 间 平 均 相 关 甜 阵 鲁 (n) 的 道 和 矩阵 
[见方 程 (9.17)] , 即 








P(n) = ®-i(n) (11.43) 

从 第 10 章 的 表 10.3, 我 们 也 注意 到 卡尔 曼 变 量 与 RLS 变量 有 如 下 一 一 对 应 关系 : 

FRATE RLS 变量 说 明 

K-'(n) AP7!(n) = AW(n) 相关 矩阵 

rr-1(zm) y(n) 变换 因子 

g(n) 47?K(n) 增益 向 量 

a(n) A~*2@* (n) 先 验 估计 误差 

y(n) A7"? d* (n) 期 望 响应 

x(nigy 1 1-"2W(n 1) 抽 头 权 向 量 的 估 值 


在 由 这 些 关 系 导出 QR-RLS 算法 之 前 ,我 们 发 现 改变 一 下 记号 将 更 为 方便 。 根 据 正则 方程 , 抽 
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头 权 向 量 w(m) 的 最 小 二 乘 估计 定义 为 [ 见 式 (8.35)] 


@(n)W(n) = 2(n) (11.44) 
其 中 2(n) WRAY da(n) 与 输入 数据 向 量 u(n) 之 间 时 间 平 均 互 相关 向 量 。 设 中 (m) 表 示 为 
(n) = P(n)”. (n) (11.45) 

其 次 ,在 式 (11.44) 的 两 边 乘 以 D” (n), ASIA — PY ES p(n) ,定义 为 
p(n) = ®"?(n)wW(n) = @'/7(n)z(n) (11.46) 


于 是 ,通过 传递 ©? (n) Ml p(n), A QR-RLS 算法 看 做 卡尔 曼 滤 波 器 理论 的 平方 根 信息 滤波 形式 。 

我 们 现在 容易 表示 线性 自 适 应 滤波 的 QR-RLS 算法 。 具 体 来 说 ,我 们 可 以 将 式 (11.38) 的 
平方 根 信息 滤波 算法 转变 为 对 应 的 QR-RLS 算法 的 前 后 阵列 变换 (在 消去 公共 项 后 ) 

NB 一 1 u(n) 2(m) 0 

AMpH(n—1) dm |O(n) = p” (n) é(n)y 2(n) (11.47) 

o 1 u” (n)® “2(n) y'”(n) 
通常 ,@(n) 为 西 旋转 量 , 它 对 前 阵列 中 输入 数据 矩阵 u(z) 的 元 素 进 行 运算 ,如 将 它们 一 一 消 
除 , 即 可 产生 后 阵列 顶 行 的 零 块 项 。 自 然 ,平方 根 自 相关 和 矩阵 ”的 下 三 角 结构 在 变换 前 后 得 
以 正确 保留 。 事 实 上 ,这 正 是 RLS 估计 QR 分 解 的 本 质 , 故 取 名 为 “QR-RILS 算法 ”。 
在 算出 更 新 块 四?(n) 和 p*(n) 后 , 则 可 用 如 下 公式 来 求 最 小 二 乘 权 向 量 Ww(n)[ 见 式 (11.46)] 
Wi(n) = p(n)® Ln) (11.48) 

利用 (nn) 的 下 三 角 结构 ,用 回 代 的 方法 可 求 出 该 方程 的 解 。 但 是 值得 注意 的 是 ,该 计算 只 
对 n > M 的 时 间 可 行 ,此 时 为 数据 矩阵 A(n), 从 而 D’ (nm) 都 是 列 满 秩 的 。 

为 了 对 QR-RLS 算 法 进行 初始 化 ,可 令 D (0) = OL A p(O) =0, 其 中 6 为 调节 参数 。 
QR-RLS 算法 的 严格 初始 化 发 生 在 Osn M 阶段 ,此 时 后 验 估计 误差 e(n) 为 零 。 在 n=M 次 
迭代 完成 初始 化 ,此 时 e(n) 为 非 零 值 。 

表 11.2 列 出 了 QR-RLS 算法 的 总 结 , 它 包括 初始 化 细节 以 及 其 他 让 人 感 兴趣 的 事情 。 

$211.2 指数 加 权 RLS 估计 的 QR-RLS 算法 小 结 
输入 : 
BORE A” (n) = [na(1),u(2),…,u(n)] 
期 望 响 应 :ax(n) =[d(1) d(2),…, d(n)] 
预 给 参数 ， 
指数 加 权 向 量 = A 
调整 参数 = 8 
西 旋转 = @(n) 
初始 条 件 : 
P12(0) = 671 
p(0) = 0 
计算 : 
对 n=1,2…, 计 算 
MBE —1) un ©'?(n) 0 
| pH (n — 1) i fae = | p”(n) soy | 
07 1 u” (n)P (n) y(n) 
WH(n) = p” (n)D— (n) 
表 注 :@(n) 是 运行 在 前 阵列 的 酉 旋转 量 , 以便 在 后 阵列 的 第 一 行 产 生 一 个 零 块 元 素 。 
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11.3.1 QR-RLS 算法 的 脉动 阵列 实现 ? 


到 上 自前 为 上 ,除了 要 求 选择 西 旋转 @(n) ,以便 在 后 阵列 顶 行 产生 一 个 零 块 外 ,还 没有 注 
意 它 的 细节 。 适 应 这 一 要 求 的 酉 矩阵 是 基于 Givens 旋转 的 变换 ,其 详细 讨论 在 附录 中 给 
出 。 

采用 Givens 旋转 可 以 得 出 脉动 (systolic) 阵 列 的 并 行 实现 形式 (Kung & Leiserson,1978)。 脉 
动 阵列 由 具有 规则 结构 的 处 理 单元 阵列 构成 。 阵 列 中 的 每 个 单元 装 有 它 本 身 的 存储 器 ,而 且 
每 个 单元 只 与 最 靠近 它 的 单元 相连 。 该 阵列 的 设计 是 为 了 使 有 序数 据 流 在 时 钟 的 控制 下 , 非 
常 有 节奏 地 穿 过 它 ,就 像 人 的 心脏 跳动 一 样 一 一 因此 取 名 “脉动 (Kung,1982)。 这 里 需要 着 重 
注意 的 是 ,脉动 阵列 非常 适合 于 复杂 的 信号 处 理 算法 实现 ,如 QR-RLS 算法 , 当 要 求 在 实时 和 
高 数据 带宽 情况 下 运行 时 尤其 如 此 。 

图 11.1 示 出 实现 QR-RLS 算法 的 一 种 高 效 的 脉动 阵列 结构 (McWhirter, 1983) ,该 结构 可 用 
于 带 有 三 个 元 素 ( 即 M =3) WA wn) IF. 3011.47) PAC M + 1) x (M+1) 西 矩阵 
O 可 以 通过 M Â Givens 旋转 的 序列 来 实现 ,配置 每 一 Givens 旋转 以 便 消 除 前 阵列 中 Mx1 向 
量 的 一 个 特殊 元 素 。 于 是 ,可 以 写 出 


M 
9 = [[9, (11.49) 
k=] 


其 中 O, 构成 了 除了 四 个 位 于 k 和 M+1 行 与 上 和 M+1 列 相交 点 上 重要 元 素 外 的 酉 和 矩阵。 这 
四 个 元 素 记 为 Ons Omaro On, mai AY Ommna BELA 


Okk = Omri M+l = Ck 
Omsk = Sk (11.50) 
Oe M+1 = — Sk ` 


RP k=1,2,0, Mo REZAR c, 为 实数 ,而 正弦 参数 s, 为 复数 。c As, 的 选择 满足 如 下 约 
RAA 
h tjs? =1 对 所 有 k (11.51) 





O QR-RLS 算法 的 第 一 个 脉动 实现 由 Gentleman 和 Kung(1981) 发 表 , 他 们 采用 由 两 个 不 同 节 构 成 的 脉动 阵列 结构 (三 角 
脉动 阵列 和 线性 脉动 阵列 )。Gentleman-Kung 阵列 与 图 11.1 中 McWhirter 阵列 的 不 同 如 下 : 
。 构 成 QR-RIS 算 法 数学 基础 的 式 (11.47) 变 换 分 两 级 来 实现 。 在 第 一 级 中 ,去 掉 了 前 后 阵列 中 的 最 后 一 行 , 西 矩 
阵 维 数 也 相应 降低 ;于 是 ,现在 可 以 写 出 
ees — 1) u(n) low _ | me 0 | 
Mp (nn — 1) d(n) p"(n) Elyn) 
它 由 Gentleman-Kung 阵列 的 三 角 节 (tiangular section) 来 实现 。 在 计算 的 第 一 级 ,产生 更 新 的 下 三 角 和 矩阵 和 行 向 
量 。 一旦 整个 三 角 化 过 程 完成 ,数据 流 就 停止 ;而 且 存 储 的 加 2(n) 和 P*(n) 值 在 时 钟 控 制 下 送 给 计算 的 第 二 
级 以 便 由 线性 脉动 阵列 进行 处 理 。 特 别 地 ,在 第 二 级 中 , 回 代 的 形式 被 该 级 用 来 计算 滤波 器 权 值 wy_1《n),…， 
2(n) ,wi(n)。 相 比 之 下 ,由 单一 三 角 阵 列 构成 的 McWhirter 阵列 用 来 计算 后 验 估计 误差 e(n)。 
。 在 结构 方面 ,为 了 计算 后 验 估计 误差 ,Gentleman-Kung 阵列 采用 内 部 和 边界 单元 ,而 McWhirter 阵列 采用 一 个 附加 
单元 ( 即 最 后 处 理 单元 )。 
就 实用 而 言 ,我 们 可 以 说 :如 果 要 求 计算 后 验 估计 误差 ,并 且 对 最 小 二 乘 滤 波 器 权 值 只 是 偶尔 需要 ,那么 建议 采用 
的 脉动 过 程 是 MeWhirter 阵列 。 另 一 方面 ,如 果 主 要 要 求 是 获得 最 小 二 乘 滤波 器 权 值 ,那么 第 11.5 节 所 描述 的 逆 
QR-RIS 算 法 的 脉动 形式 是 比 Genleman-Kung 阵列 更 喜欢 采用 的 方法 。 
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式 (11.50) 定 义 的 变换 形式 称 为 Givens 旋转 。 
图 11.1 所 示 脉 动 结 构 的 设置 主要 考虑 两 点 。 首 先 ,通过 该 结构 从 左 到 右 的 数据 流 必须 和 
前 面 章节 考虑 的 所 有 其 他 自 适应 滤波 器 相 一 致 。 其 次 ,脉动 阵列 直接 对 输入 信号 向 量 a( nm) 的 
相继 值 表示 的 输入 数据 和 期 望 响应 a(n) 进 行 运算 。 
1 


u(3), u(2), u(1) 
u(2),u(1), 0 一 
ul), 0, 0 —>— —> 


d(3),d(2),d(1) 一 m — — 





Æ 11.1 QR-RLS 算法 的 脉动 实现 :对 角 线 上 的 点 表示 存储 元 素 ,强加 于 输 
和 人 数据 的 一 系列 瞬 态 偏 移 的 处 理 时 延 可 并 到 相关 的 边界 单元 内 


脉动 阵列 由 单一 时 钟 控制 ,并 由 以 三 角形 结构 形式 排列 的 三 种 类 型 的 处 理 单元 构成 : 


@ 内 部 单元 ”用 方 框 表 示 。 它 只 进行 加 和 乘 的 运算 ,如 图 11.2(a) 所 示 。 

@ 边界 单元 ”用 大 圆 描述 。 它 比 内 部 单元 更 复杂 , 因为 计算 平方 根 以 及 倒数 ,如 
图 11.2(b) 所 示 。 

e 最 后 处 理 单元 ”用 小 圆 描述 。 它 将 两 个 输入 简单 相 乘 ,得 到 输出 ,如 图 11.2(c) 所 示 。 


由 输入 向 量 u(n) 元 素 激 励 的 三 角 节 的 每 个 处 理 单元 存储 下 三 角 和 矩阵 D (nm) 的 一 个 特殊 
元 素 , 这 取决 于 所 考虑 的 单元 的 位 置 。 处 理 单元 每 一 列 的 作用 是 旋转 所 存储 的 由 左边 接收 到 
的 数据 向 量 构 成 的 三 角 和 矩阵 的 一 列 , 而 该 向 量 以 接收 到 的 输入 向 量 ua(n) 的 首 个 元 素 即 被 消除 
的 方式 获得 。 然 后 , 降 维 的 (reduced) 数 据 向 量 再 向 右 传递 给 下 一 列 处 理 单元 。 三 角 节 每 一 列 
的 边界 单元 计算 有 关 的 旋转 参数 ,并 将 它们 向 下 传递 给 下 一 个 时 钟 周期 。 接 着 ,内 部 单元 对 输 
和 人 向量 un) 的 所 有 其 他 元 素 施 以 相同 的 旋转 。 由 于 在 将 旋转 参数 沿 着 一 个 列 向 下 传递 时 ,每 
个 周期 会 出 现 一 个 时 钟 周 期 的 延 时 ,因此 输入 向 量 u(n) 必 须 以 斜 序 (skewed order) 的 方式 进 和 人 
阵列 , 当 M =3 时 ,如 图 11.1 所 示 ; 对 期 望 响应 4(n) 也 是 一 样 。 这 种 输入 数据 的 安排 确保 了 
“apres RE A” (n) 的 每 一 列 向 量 u(n) 通 过 阵列 传递 时 , 它 与 前 面 存储 的 三 角形 矩阵 
g@2 (n -1) 相 互 作用 ,并 由 此 经 历 一 系列 用 O(n) RAB Givens 旋转 序列 ,正如 所 要 求 的 。 因 
此 , 列 向 量 u(n) 的 所 有 元 素 一 个 接 一 个 地 被 消除 ,在 此 过 程 中 产生 并 存储 了 更 新 的 下 三 角 和 矩 
E @”(n) ,同时 为 下 面 的 一 系列 运算 做 好 了 准备 。 

脉动 阵列 以 高 度 流水 线 的 方式 运行 ,因此 当 ( 时 间 偏 移 的 ) 输 入 数据 向 量 从 左边 进入 阵列 
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时 ,我 们 发 现 每 一 个 这 样 的 向 量 实际 上 定义 了 一 个 跨 阵列 移动 的 处 理 波 阵 面 (processing wave 
front)。 从 而 ,在 任意 一 个 时 钟 周 期 ,下 三 角 和 矩阵 @”(n) 的 元 素 只 沿 着 相关 的 波 阵 面 存在 。 








C 8 
| 初始 化 : 
当 n = 0, E 
Hout €— Cuin — S$ Ax x=0 
Min * Hout xX Siti, + CAL2x c=l 
s=0 
C s 
(a) 内 部 单元 
MR uin = 0, 那么 
cel 
seo Al 
12 1/2 
ye Yout < Yin 
xe Aly 初始 化 ， 
其 他 4n = 0, E 
u 一 -一 一 x=0 
n x'e YA + luinl? c=1 
ye s=0 
c ; Yin = 1 
12 x 
Your us 
c s se n 
x 
xex 
7? 2 e cyl 


(b) 边界 单元 
y? 


m N 
tin —> u e yl u; 
in out Uout Yin n 


(c) 最 后 处 理 单元 


图 11.2 图 11.1 中 的 脉动 阵列 单元 
注意 ;存储 的 x 值 初始 化 为 零 ( 即 实数 )。 对 于 边界 单元 , 它 总 是 实数 。 从 而 由 边界 单 
元 计算 的 旋转 参数 c 和 s 可 大 大 简化 ,如 (a) 中 所 示 。 也 注意 到 ,在 (a) 和 (b) 中 存储 在 
阵列 中 的 x 值 是 下 三 角 和 矩阵 R# 的 元 素 ; 从 而 对 于 阵列 的 所 有 元 素 ,r* = x 


由 于 正 交 三 角 化 由 图 中 标 有 ABC 的 脉动 部 分 进行 ,而 行 向 量 p*(n) 由 内 部 单元 的 最 后 一 
行 计算 ,其 最 后 一 个 元 素 产生 输出 &(n)y(n)( 见 习题 7)。 
从 图 11.2(b) 我 们 看 到 ,图 11.1 脉动 阵列 结构 中 的 第 大 个 边界 单元 进行 下 面 的 运算 
He = (njn) k=1,2,...,M (11.52) 
Hc, (n)HKRETHMRKSR. A FR 11.1 所 示 个 边界 单元 连接 在 一 起 的 情况 ， 


与 加 到 第 一 个 边界 单元 单位 输入 相对 应 的 最 后 一 个 边界 单元 的 输出 可 以 表示 为 
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y(n) = yan) 


M 
= en) 


对 于 输入 等 于 y (n) Eln) y” (n), E 11.1 的 最 终 处 理 单元 产生 的 输出 等 于 后 验 估计 误差 
e(n) ,其 关系 [ 见 第 9 章 式 (9.42) 的 第 一 行 ] 
e(n) = &(n)y(n) 
= (&(n)y'?(n) (y(n) 

当时 间 偏 移 的 输入 数据 向 量 进入 图 中 的 脉动 阵列 时 ,我 们 发 现 更 新 的 估计 误差 以 每 个 时 钟 周 
期 一 个 的 速率 在 阵列 的 输出 端 产生 。 当 然 ,给 定 的 时 钟 周期 所 产生 的 估计 误差 对 应 于 进入 阵 
列 前 M 个 时 钟 周 期 序列 的 期 望 响应 4(n) 的 特殊 元 素 。 

值得 注意 的 是 , 先 验 估计 误差 (mn) 可 通过 内 部 单元 附加 (最 底部 ) 行 最 后 一 个 单元 的 输出 
除 以 最 后 一 个 边界 单元 的 输出 得 到 。 同 样 地 ,变换 因子 7(n) 可 以 通过 将 最 后 一 个 边界 单元 
的 输出 取 平方 得 到 。 

图 11.3 用 示意 图 的 形式 给 出 图 11.1 中 脉动 阵列 的 信号 流 。 为 了 简化 表示 ,我 们 用 R”(n) 
代替 图 11.3 中 的 @*(n)。 图 中 包括 外 部 输入 u(n) 和 d(n)、 三 角 部 分 内 部 状态 变换 和 内 部 
单元 的 附加 行 两 部 分 各 自 的 输出 ,以 及 整个 处 理 器 的 总 输出 。 


ya(n)=1 


(11.53) 


(11.54) 





图 11.3 图 11.1 的 脉动 阵列 信号 流 图 示 


图 11.1 所 示 脉 动 结构 的 一 个 显著 特点 就 是 绕 过 计算 权 向 量 Ww(n) 而 直接 计算 后 验 估计 误 
差 。 然 而 ,如 果 需 要 权 向 量 ,可 利用 品行 权 值 刷新 (serial weight flushing) 的 方法 非 脉动 地 完成 它 
的 计算 (Ward et al. ,1986; Shepherd & McWhirter,1991)。 S u(n) 和 d(n) 分 别 表 示 时 刻 n 的 输 
入 向 量 和 期 望 响 应 。 已 知 该 时 刻 的 权 向 量 为 w(n) ,对 应 的 后 验 估计 误差 为 
e(n) = d(n) — Wi(n)u(n) (11.55) 
假设 n 时刻 脉动 计算 完成 后 ,立即 在 时 刻 n, 冻结 阵列 的 状态 。 也 就 是 说 ,假设 阵列 存储 值 的 
任何 更 新 都 被 抑制 ,但 处 理 器 其 他 方面 功能 正常 。 在 时 刻 n, , 同样 令 期 望 响 应 d(n) STS. 
我 们 现在 定义 除 第 i 个 元 素 为 1 外 由 一 串 零 组 成 的 输入 向 量 为 


u”(n,) = [0...010...0] 
(11.56) 
第 i 个 元 素 
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然后 , 令 d(n) =0 并 将 式 (11.56) 代 入 式 (11.55) ,得 

e(n,) = —tb*(n,) (11.57) 
换 句 话说 ,除了 一 个 微不足道 的 符号 改变 外 ,我 们 可 以 通过 冻结 n 时 刻 处 理 器 的 状态 来 计算 
Mx1 权 向 量 w” (nn) 的 第 i 个 元 素 ,从 而 将 期 望 响 应 置 为 零 , 并 且 以 第 i POUR A ARM - 1 
个 元 素 为 零 的 输入 向 量 供给 处 理 器 。 所 有 这 些 的 本 质 是 , 埃 尔 米 特 转 置 权 向 量 wz(n) 可 看 做 
非 自 适应 形式 ( 即 冻结 形式 ) 脉 动 阵列 处 理 器 的 脉冲 响应 ;在 这 个 意义 上 , 它 可 看 做 在 图 11.1 
中 把 CM -1) x (M -1) 单 位 阵 输 给 主 三 角 阵 列 , 而 把 零 向 量 输 给 阵列 的 底 行 所 产生 的 输出 
(Shepherd & McWhirter, 1991)。 为 了 “刷新 ”脉动 处 理 器 的 整个 M x 1 权 向 量 Ww*(n), 该 过 程 因 
而 必须 停止 对 所 有 存储 值 的 更 新 ,并 输入 由 M 维 单位 阵 构成 的 数据 矩阵 。 


11.4 自 适应 波束 形成 


从 前 面 章节 对 自 适 应 波束 形成 的 讨论 中 我 们 知道 ,采用 空间 形式 自 适应 滤波 的 目的 是 为 
了 修改 阵列 传感器 的 各 个 输出 ,以 便 产生 一 个 总 的 远 场 图 样 (far-field pattern) ,该 图 样 从 某 种 统 
计 意 义 上 对 沿 着 某 个 感 兴趣 方向 的 接收 目标 信号 进行 优化 。 对 任何 自 适应 滤波 器 ,这 样 一 种 
优化 都 是 通过 适当 修改 构成 阵列 的 一 组 权 值 而 获得 的 。 与 其 他 自 适 应 滤波 应 用 不 同 的 是 , 自 
适应 波束 形成 不 需要 明确 地 知道 权 值 。 这 表明 ,以 脉动 阵列 形式 实现 的 QR-RIS 算法 ,特别 是 
图 11.1 所 述 结构 可 能 的 应 用 领域 。 

在 本 节 中 ,我 们 重新 复习 前 面 第 2 章 、 第 5 章 和 第 8 章 讨 论 过 的 最 小 方差 无 失真 响应 
(MVDR) 波 束 形 成 器 。 关 键 问题 是 如 何 得 到 QR-RIS 算法 以 及 图 11.1 所 示 的 三 角 脉 动 阵列 ， 
以 便 进行 MVDR 波束 形成 。 

11.4.1 MVDR 问题 
考虑 M 个 均匀 间隔 的 传感器 ,其 输出 各 自 加 权 并 相 加 ,从 而 产生 波束 形成 器 的 输出 


M 
eli) = X wi(n)u/(i) (11.58) 
Ei 


其 中 wu(i) 为 传感器 | 在 时 刻 ; 的 输出 ,wi(n) 为 相关 的 ( 复 ) 权 值 。 为 了 简化 数学 表达 式 , 考 虑 
单个 观察 方向 的 简单 情况 。 令 s1,(0),s,(0),…, su(0) 为 所 描述 的 转向 向 量 s(0) 的 元 素 ; 电 角 
E 9 由 观察 方向 决定 。 特 别 地 ,元 素 s,(9) 为 没有 信号 情况 下 传感器 ! 的 输出 。 于 是 ,我 们 可 
表述 MVDR 问题 如 下 : 


最 小 化 代价 函数 
Eln) = Saree (11.59) 
MEARE 


M 
X wi(n)s(6) =1 ”对 所 有 nn (11.60) 


=1 


~ 
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采用 和 矩阵 表示 ,可 重新 定义 式 (11.59) 中 的 代价 酋 数 为 

Eln) = e” (n)A(n)e(n) (11.61) 
其 中 A(n) 为 指数 加 权 和 矩阵 ,s(n) 为 受 约束 的 波束 形成 器 的 输出 向 量 。 根 据 式 (11.58) ,波束 形 
成 器 的 输出 向 量 s(n) 与 数据 和 矩阵 A(n) 之 间 的 关系 为 


e(n) = [e(1), e(2),...,e(n)]” 


= A(n)w(n) (11.62) 
其 中 w(n) 为 权 向 量 ,A(n) 可 按照 快照 ua(1) ,0(2),…,u(n) 定 义 为 
A" (n) = [u(1), u(2),..., u(7) | 
u,(1) u,(2) U u(n) 


u2(1) up(2) vee m(n) (11.63) 


uu) uml2) = u(n) 
现在 ,可 用 矩阵 形式 重 述 MVDR 问题 如 下 ， 
在 给 定数 据 算 阵 A(n) 以 及 指数 加 权 适 阵 A(n) 的 情况 下 ,将 对 代价 函数 
gn) = JA!?(n)A(n)w(n)IP (11.64) 
相对 于 权 向 量 w(m) 进 行 最 小 化 , 且 满 足 约 来 条 件 
wi(n)s(0) =1 ”对 所 有 nn 
RP s(0) 为 角 0 的 转向 向 量 。 
该 约束 最 优化 问题 的 解 用 MVDR 公式 表示 为 [ 见 式 (8.91)] 
1(n)s(0) 








TI (1-65) 
其 中 

Bln) = AN (n)A(n)A(n) (11.66) 
是 次 快照 平均 后 指数 加 权 传 感 器 输出 M x M 的 相关 矩阵 。 
11.4.2 脉动 MVDR 波束 形成 器 

令 相关 矩阵 四 (mn) 用 其 分 解 形式 表示 为 

@(n) = ®'2(n)b"?(n) (11.67) 

相应 地 ,可 将 式 (11.65) 重 新 写 为 
a(n) = — eos) (11.68) 


s” (0) "(nD ™(n)s(0) 
为 了 简化 起 见 ,定义 辅助 向 量 
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a(n) = P12(n)s(0) (11.69) 


我 们 现在 注意 到 , 式 (11.68) 的 分 母 是 一 个 实 值 标量 , 它 等 于 辅助 向 量 a(m) 的 欧 氏 范 数 的 平 

. 方 。 分 子 等 于 埃 尔 米 特 转 置 的 道 平 方 根 O(n) ARO a(n). FE, THA 

(11.68) 简 化 为 

@® 4 (n)a(n) 
Ia) 


时 刻 n 的 MVDR 波束 形成 器 输出 ,或 者 按照 自 适 应 滤波 术语 ,响应 快照 a(n) 所 产生 的 后 
验 估计 误差 为 


w(n) = (11.70) 


e(n) = w'(n)u(n) 








_ a? (n)@®/?(n)u(n) (11.71) 
Naa) 
令 
e'(n) = af(n)® 2(n)u(n) (11.72) 
表示 新 的 估计 误差 。 
则 式 (11.71) 简 化 为 
_ e(n) 
e(n) = jatni (11.73) 


该 方程 表明 ,MVDR 波束 形成 器 的 输出 e(n) 由 两 个 变量 e (rn) A aln HE— EX. 
关于 这 一 点 ,回忆 QR-RLS 算法 中 计算 后 验 估计 误差 e(n) 的 公式 是 很 有 启发 意义 的 。 根 
据 定 义 , 有 
e(n) = d(n) — Wi(n)u(n) (11.74) 
其 中 d(Cn) 为 期 望 响 应 ,w(n) 为 最 小 二 乘 权 向 量 ,ma(n ) 为 输入 数据 向 量 。 将 式 (11.48) 代 人 式 
(11.74) ,可 得 | 
e(n) = d(n) — p(n)® 2(n)u(n) (11.75) 
于 是 ,比较 式 (11.72) 与 式 (11.75) ,容易 得 到 表 11.3 所 列 的 QR-RLS 自 适应 滤波 变量 与 MVDR 
波束 形成 变量 之 间 的 对 应 关系 。 这 里 列 出 的 对 应 关系 只 表示 MVDR 波束 形成 中 的 变量 和 
QR-RLS 自 适应 滤波 中 变量 之 间 的 “作用 的 相似 性 ”, 而 不 是 等 效 性 。 


表 11.3 QR-RLS 自 适应 滤波 变量 和 MVOR 波束 形成 变量 之 间 的 对 应 关系 








QR-RLS Hig RR MVDR 波束 形成 说 明 
eln) -e (n) 估计 误差 
d(n) 0 期 望 响应 
p(n) a(n) 辅助 向 量 
u(n) u(n) 快照 


该 阶段 现在 的 任务 是 改写 QR-RLS 算法 ,以 适合 于 MVDR 波束 形成 问题 。 首 先 ,我 们 将 表 
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11.3 中 的 对 应 关系 用 于 QR-RLS 算法 式 (11.47) 中 的 前 阵列 ,从 而 可 将 MVDR 波束 形成 器 的 前 


阵列 写 为 
?@'/2(n — 1) u(n) 
Aat (n — 1) 0 
0” 1 
然后 ,我 们 采用 与 第 11.3 节 描 述 的 同样 方式 来 确定 后 阵列 。 于 是 ,可 以 写 出 
Al2PB 2(n — 1) u(n) - tn) 0 
Aa” (n — 1) 0 {@(n) = a” (n) —e'(n)y (n) (11.76) 
0” 1 u” (n) (n) y(n) 


现 可 看 出 ,MVDR 问题 中 的 两 个 感 兴趣 的 新 变量 可 从 式 (11.76) 中 的 后 阵列 中 得 到 : 


o 更 新 的 辅助 向 量 a(n) 可 直接 从 后 阵列 的 第 二 行 读 出 。 
© 估计 误差 由 下 式 给 出 。 


e(n) = (e'(n)y"7(n) )(y'?(n)) (11.77) 
其 中 e (n) y(n) Al 72(m) 可 直接 从 后 阵列 第 二 列 的 非 零 项 读 出 。 


最 后 ,我 们 可 以 采用 图 11.4 所 示 的 脉动 阵列 来 实现 MVDR 波束 形成 器 。 除 了 一 些小 的 改 
动 外 , 它 与 图 11.1 基本 相同 ( McWhirter & Shepherd, 1989) 。 具 体 而 言 , 对 所 有 n,d(n) MBH 
零 。 对 于 这 一 适当 的 改变 ,从 图 11.4 我 们 注意 到 如 下 两 点 : 


e 辅助 向 量 a(n) 在 单元 的 最 底 行 产 生 并 存储 。 
o 最 后 处 理 单元 的 输出 等 于 - e’(n)。 


对 于 加 到 图 11.4 所 示 脉 动 阵列 的 一 个 连续 快照 序列 n(n),u(n + 1),… ,根据 式 (11.73), 可 由 
MVDR 波束 形成 器 产生 相应 的 估计 误差 序列 e(n),el(n+1),…。 
1 


u(3), u(2), u(1) 


u(2),u(1), 0 —> 


u(1), 0, 0 —— —> 





图 11.4 解决 MVDR 波束 形成 问题 的 脉动 阵列 
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11.4.3 计算 机 实验 

我 们 现在 通过 考虑 5 个 均匀 放置 的 传感器 线性 序列 ,来 阐述 MVDR 波束 形成 器 脉动 阵列 
实现 的 性 能 。 相 邻 元 素 之 间 的 距离 d 等 于 1.5 个 接收 波长 。 该 阵列 运行 的 环境 由 一 个 期 望 信 
号 和 一 个 单一 干扰 信号 组 成 ,它们 来 源 于 互 不 相关 的 源 信 号 。 指 数 加 权 因 子 A = 1。 

实验 目的 有 以 下 两 个 方面 : 

o 检验 波束 形成 器 的 适当 空间 响应 (模式 ) 随 时 间 的 演变 。 

o 通过 改变 干扰 信号 和 目标 信号 的 比值 ,来 测试 干扰 为 零 时 波束 形成 器 的 性 能 。 

期 望 信号 和 干扰 信号 源 的 方向 如 下 : 





激励 相对 于 阵列 的 正则 方程 测量 的 实际 入 射 角 ( 弧 度 ) 
目标 sin™! (0.2) 7 
干扰 0 
转向 向 量 定 义 为 
s7(0) = [1, e7, e7, oF? e1] (11.78) 
其 中 电 角 度 
0= nsing (11.79) 
9 为 实际 人 射 角 。 


用 于 该 实验 的 数据 集合 由 三 部 分 构成 :目标 信号 、 基 本 接收 噪声 和 干扰 信号 。 目 标 信号 和 
干扰 信号 来 源 于 远 场 阵列 天 线 , 因 而 用 沿 着 各 自 方 向 人 射 到 阵列 上 的 平面 波 表 示 。 令 这 些 方 
向 用 角度 pı 和 p 表示 ,它们 相对 于 阵列 天 线 的 法 线 (以 弧度 ) 测 量 。 阵 列 天 线 基 本 信和 号 用 基 
带 形式 表示 为 


u(n) = Aoexp(jn0o) + A,exp(jn@, + jy) + v(n) n = 0,1,2,3,4 (11.80) 


其 中 A, 为 目标 信号 的 幅度 , 4, 为 干扰 信号 的 幅度 。 由 角度 6 和 6 SARA go 和 p 的 关 
系 [ 如 式 (11.79)] 所 示 。 由 于 目标 信号 和 干扰 信号 互 不 相关 , 式 (11.80) 第 二 部 分 的 相位 差 为 
在 (0,2x] 间 隔 内 均匀 分 布 的 随机 变量 。 最 后 ,附加 接收 器 噪声 y(n) 是 均值 为 零 、 方 差 为 1 的 
复 值 高 斯 随机 变量 。 目 标 信 号 和 噪声 信号 的 比值 保持 在 10 dB; 干 扰 信 号 和 噪声 信号 的 比值 是 
变化 的 ,假设 值 为 40 dB、30 dB 和 20 dB. 

图 11.5 示 出 了 改变 波束 形成 器 目标 信号 和 干扰 信号 的 比值 以 及 快照 数目 (除了 那些 需要 
初始 化 的 快照 ) 对 波束 形成 器 自 适应 响应 的 影响 。 幅 度 响应 通过 计算 20 logol e(n) e’? | 得 到 ， 
并 用 晶 表示。 这 里 乘 以 指数 因子 ”是 为 了 对 空间 采样 的 波束 形成 器 输出 e(n) 取 平均 。 结 
果 分 三 部 分 ,分 别 对 应 于 20、100 和 200 个 快照 ;而 每 一 部 分 又 对 应 于 三 个 不 同 的 干扰 信号 和 
噪声 信和 号 比值 , 即 40 dB、30 dB 和 20 dB. 

在 这 些 结果 的 基础 上 ,我 们 可 以 进行 如 下 观测 : 


o 沿 波束 形成 器 目标 方向 的 响应 根据 需要 对 所 有 情况 固定 为 1( 即 0 dB) ,如 所 要 求 的 。 
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© 对 于 20 个 快照 的 情况 ,除了 初始 化 外 波束 形成 器 呈现 出 合理 有 效 的 置 零 能 力 ,并 随 着 
处 理 快 照 数 目的 增加 而 提高 。 
© 波束 形成 器 对 干扰 信号 和 目标 信号 比 的 变化 响应 相对 不 敏感 。 





sin 史 
(a) n=20 


局 一 $È - Mit =20 dB 








sin @ 


(b) 7=100 


图 11.5 脉动 MVDR 波束 形成 器 对 不 同 干扰 信 叶 和 不 同 
快照 数目 情况 下 空间 响应 的 计算 机 实验 结果 
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H - WR = 20 dB 


30 dB 








sin p 
(c) n=200 
图 11.5 脉动 MVDR 波束 形成 器 对 不 同 干扰 信号 和 不 同 
快照 数目 下 空间 响应 的 计算 机 实验 结果 ( 续 ) 


11.5 j##OQR-RLS 算法 


我 们 现在 回 到 最 后 一 种 平方 根 自 适应 滤波 算法 , 即 逆 QR-RLS BAKO, RIA A 
是 因为 , 它 不 像 常规 QR-RLS 算 法 那样 对 自 相关 矩阵 @(n) 进 行 运算 ,而 是 对 O(n) ABE EE 
行 运 算 (Alexander & Ghimikar, 1993; Pan & Plemmons, 1989)。 更 具体 地 说 ,就 平方 根 而 言 , 逆 
QR-RLS 算 法 传递 P2(z) = “(n)。 根 据 卡尔 曼 参 数 K(n) 对 应 于 加 权 RLS 参数 4-!1P(n) 这 
一 事实 ,我 们 可 以 看 到 逆 QR-RLS 算法 基本 上 是 平方 根 协 方差 (卡尔 曼 ) 滤 波 算法 的 男 一 种 
形式 。 

从 平方 根 协 方差 滤波 算法 的 表达 式 (11.26) 容 易 看 出 (从 最 后 一 行 消去 公共 因子 4 
后 ) BE QR-RILS 算法 对 应 的 前 后 阵列 变换 可 写 为 


1 ATu H pi? —1 -1/2 or 
E py aan ) |em = PAA P(n) (11.81) 


其 中 O(n) AGW , EXT ATE P RAN AP ut (n) P (n 1) 进行 运算 ,从 而 一 一 消除 其 
中 的 元 素 , 并 在 后 阵列 第 --- 行 产生 零 块 项 。RLS 算法 的 增益 向 量 k(n) 很 容易 从 式 (11.81) 后 
阵列 第 一 列 中 的 项 得 到 , 即 


ae 

© E OR-RIS EURA ESHR AGEL, ETTIRSIN SE RUB DAOC PR, EET E QALS RRAN — 
种 更 好 的 将 代 者 ,其 原来 的 动机 是 起 通过 Contleman-Kung BEDE AREAS EUR BURGE. RTT EH Set 
间 而 言 ,扩展 的 QR-RLS 滤波 器 的 发 明 (Hudson et al. ,1989) 先 于 逆 QR-RLS 滤波 器 (Alexander & Ghimikar, 1993) oly 
展 的 QR-RIS 波 波 器 的 推导 在 习题 3 中 介绍 。 A 





as 


k 
a ¥ 


$ 
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k(n) = (k(n)y Ayn)" (11.82) 
因此 ,最 小 二 乘 权 向 量 可 以 采用 如 下 递归 形式 

w(n) = w(n — 1) + k(n)é*(n) (11.83) 
进行 更 新 。 其 中 , 先 验 估计 误差 以 通常 的 方式 定义 为 

E(n) = d(n) — ®” (n — 1)u(n) (11.84) 


Bi QR-RLS 算法 的 总 结 ( 包 括 初始 化 条 件 ) 在 表 11.4 中 列 出 。 


#11.4 i$ QR-RLS 算法 小 结 
MA: 
SEEM A” (n) = {u(1),u(2),---,u(n)} 
期 望 响 应 :d*(n) = | d(1),d(2),-, d(n)} 
预 给 参数 
指数 加 权 因 子 = 和 
调整 参数 = 8 
初始 条 件 : 
P12(0) = SI 
w(0) = 0 
计算 : 
对 n=1,2,…, 计 算 
1 AM (nyP!?(n 一 D Jow _ [ y(n) o | 
0 AT? P Pn = 1) k(n)y (n)  P™?{n) 
式 中 @(m) 是 后 阵列 第 一 行 中 零 元 素 产 生 的 酉 旋转 


k(n) = (k(n)y (mAr A m 
é(n) = d(n) — W"(n - 1)u(n) 
W(n) = (n — 1) + k(n)é*(n) 


这 里 需要 注意 的 是 ,既然 平方 根 OM (Cn) EP = A, GK (11.45), 0 (a) = 
Pi? (n), WU AE yb = FE 

Bi QR-RLS 算法 与 常规 的 QR-RLS 算法 一 个 基本 不 同 点 是 ,输入 数据 向 量 a(n) 本 身 并 不 
作为 块 项 出 现在 该 算法 的 前 阵列 中 ,而 是 将 它 乘 以 4-“P*(n -1)。 因 此 ,输入 数据 向 量 u 
(mn) 在 进行 式 (11.81) 中 所 描述 的 旋转 之 前 ,需要 进行 预 处 理 。 预 处 理 器 要 做 的 事情 只 需要 简 
单 地 计算 un) SRA AO RPE TAREE P (nn -1) 的 每 一 列 之 间 的 内 积 。 预 处 理 器 可 吸取 
P? (nm 1) 的 上 三 角形 式 的 优点 进行 构建 。 

Bi QR-RIS 算 法 中 的 脉动 处 理 可 通过 如 图 11.6 所 示 的 两 部 分 连接 的 方式 来 实现 : 


© 三 角 脉 动 阵列 , 它 运行 在 预 处 理 输 入 向 量 A OP” (n -1)u(n) 上 ,与 式 (11.81) 的 埃 尔 
米 特 转 置 形式 相 一 致 。 更 新 矩阵 P”(n) 的 非 零 元 素 存储 在 脉动 阵列 中 的 内 部 单元 中 。 
脉动 计算 的 其 他 两 项 为 Y-“(n) 和 7 (nz)k (nm)。 

o 线性 部 分 , 它 附 属于 三 角 部 分 ,用 来 对 脉动 计算 的 后 两 项 进行 运算 ,以 便 产生 与 式 
(11.82) . 式 (11.84) 和 式 (11.83) 相 一 致 的 更 新 权 向 量 w(n) 的 元 素 。 


将 这 两 部 分 相 结 合 , 可 以 设计 出 以 完全 并 行 的 方式 进行 运算 的 脉动 处 理 算 法 (Alexander & 
Ghirnikar , 1993). 
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A Vp (n — 1) Ee 





预 处 理 器 一 





图 11.6 道 QR-RLS 算 法 的 方 框图 


11.6 本 章 小 结 


在 本 章 中 ,我 们 统一 考虑 了 两 种 指数 加 权 递 归 最 小 二 乘 (RLS) 估 计 的 平方 根 自 适应 滤波 
算法 ,它们 是 QR-RLS 算法 和 逆 QR-RLS 算法 。 这 两 种 算法 分 别 利用 与 平方 根 信息 滤波 器 和 平 
方 根 协 方差 滤波 器 的 一 一 对 应 关系 而 得 到 ;它们 都 是 著名 的 卡尔 曼 滤 波 器 的 平方 根 变 形 。 
QR-RLS RFA QR-RLS 算法 分 别传 递 单个 平方 根 O(n) P Cn) =0 Cn), 

QR-RLS 算法 和 逆 QR-RLS 算法 的 一 个 共同 特征 是 ,它们 在 不 同 程度 上 都 可 以 通过 脉动 阵 
列 的 形式 并 行 实 现 。 当 然 , 脉 动 阵列 实现 的 实际 细节 取决 于 采用 何 种 算法 。 特 别 地 ,需要 仔细 
注意 它们 的 一 些 基 本 差别 。QR-RIS 算法 直接 对 输入 数据 进行 运算 ,而 道 0R-RIS 算法 在 对 输 
人 数据 向 量 ua(n) 进 行 脉动 阵列 处 理 前 ,需要 将 它 冬 以 平方 根 和 矩阵 4-“P™(n -1)。 这 就 增加 
T QR-RIS 算法 并 行 实现 的 计算 复杂 度 。 

I QR-RLS 算法 的 并 行 实现 允许 以 一 种 有 效 的 方式 直接 计算 最 小 二 乘 权 向 量 。 因 此 , 平 
方 根 自 适应 滤波 算法 非常 适合 于 诸如 系统 辨识 、 谱 估计 以 及 自 适应 均衡 等 应 用 ;此 处 需要 知道 
权 向 量 的 相关 知识 。 相 比 之 下 , QR-RIS 算法 要 计算 后 验 估计 误差 e(n), 这 实质 上 把 它 的 应 用 
限制 于 自 适 应 波束 形成 以 及 回 波 消除 等 方面 ,这 里 不 需要 知道 权 向 量 的 明显 知识 。 

最 后 ,需要 指出 的 是 ,无 论 QR-RLS 算法 还 是 道 QR-RLS 算法 ,都 保留 了 标准 RLS 算法 的 收 
敛 性, 即 快速 收 化 速率 ,以 及 对 输入 数据 相关 和 矩阵 特征 值 扩 散 度 变化 的 不 敏感 性 。 


11.7 习题 
1. 对 平方 根 信息 滤波 器 ,根据 式 (11.32) 描 述 的 前 后 阵列 变换 形式 ,推导 出 式 (11.33) 到 式 


(11.37) 定 义 的 方程 式 。 
2. 在 本 题 中 ,我 们 重新 考虑 平方 根 信息 滤波 器 。 具 体 来 说 , 令 式 (11.2) 和 式 (11.3) 状 态 空间 
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模型 中 的 vn) RWS HEA 0(n) 的 随机 变量 。 证 明 平方 根 信息 滤波 器 可 以 写 为 
K` (n) = MK (nr ~ 1) + O*(n)u(n)u*(n)) 
K1(n)&(n + 1|Y,) = AP(K! (n — 1)&(n|9,-1) + O(n)a(n)y(n)) 
它 包含 式 (11.29) 和 式 (11.30) 作 为 其 特例 。 
3. (a) 下 面 的 前 阵列 
AK An — 1) aun) 
x7 (n|%,,_,)K-7(n — 1) y*(n) 
oF 1 


A'?K'?(n — 1) 0 
为 式 (11.38) 中 前 阵列 的 扩展 形式 。 证 明 扩 展 的 平方 根 信息 滤波 器 可 以 写 为 
AIR 2 — 1) Nun) 
(n| Y, Kn- 1 * 
bil 四 (n — 1) y H O(n) 
A'?K'2(n — 1) 0 
K-22(n) 0 
_ | k(n + TEA rn)a*(n) 
Mu" (n)K'?(n) rn) 


K'(n) =g(7)r'”? (n) 
从 而 写 出 更 新 状态 估计 x(n +11%Y, ) 的 表达 式 。 
(b) 利用 (a) 的 结果 ,证 明 扩展 QR-RLS 算法 可 以 描述 为 下 面 的 递归 形式 : 
对 n=1,2,…, 计 算 


MW@l(n — 1) u(n) ®!?(n) 0 
1/2,,.H — H n 1/2 n 
uv o » a“ O(n) = wpe") A 
ap tn — 1) 0 O(n) =k(n)y* (n) 


其 中 @(n) 为 西 旋转 , 它 对 前 阵列 进行 运算 ,在 后 阵列 的 第 一 行 产 生 零 块 项 。 该 算法 
是 如 何 计算 最 小 二 乘 权 向 量 的 ? 
4. 令 数据 矩阵 A(n) 的 QR 分 解 涉及 的 mx 本 矩阵 Q(n) 采 用 下 面 的 方式 分 解 
a =| on] 
其 中 Qi(n) 在 与 A(n) 的 QR AFP EL = AE Rn) RATT. AOA 
FAz=l, 
根据 第 8 章 给 出 的 最 小 二 乘法 ,投影 算 子 为 
P(n) = A(n)(A¥(n)A(n)) AID 
证 明 ,对 本 题 中 的 问题 ,有 
P(n) = QF(n)Q,(n) 
WFO<A <1 的 情况 ,结果 是 如 何 修改 的 ? 
5. 解释 为 何 图 11.1 中 的 脉动 阵列 结构 可 以 用 做 预测 误差 滤波 器 进行 计算 。 
6. 基于 前 向 替代 ,讨论 采用 线性 节 如 何 求解 方程 R*(n)a(n) =s 中 的 向 量 a(n) RPE 
R(n) MxM 上 三 角 和 矩阵 ,s 为 Mx 1 向量。 
7. 在 第 11.3 节 描 述 的 QR-RLS 算法 脉动 实现 中 ,我 们 说 图 11.1 中 附加 在 三 角 脉 动 部 分 内 部 


8. 


9. 
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单元 的 最 后 一 个 元 素 产生 输出 &(n)y™(n)。 根 据 输入 数据 ,推导 这 一 结果 。 
图 11.1 为 MVDR 波束 形成 器 算法 的 框图 。 图 中 (a) 部 分 的 三 角 阵 列 在 n 时 刻 被 冻结 ,转向 向 量 
s(0) 为 阵列 的 输入 。 阵 列 存储 值 R" (n) ARAH s(n) 被 图 (p) 中 的 线性 脉动 部 分 采用 。 


all(n), RR(n) 






线性 脉动 部 分 EEEE 》 WH(n) 





a(n) = s#(@)R-\(n) 


(a) (b) 
Æ P11.1 MVDR 波束 形成 算法 的 框图 
(a) 证 明 三 角 阵 列 的 输出 为 
a” (n) = s#(0)R (n) 
(b) 利用 加 代 方 法 ,证 明 线 性 脉动 阵列 的 输出 为 权 向 量 的 埃 尔 米 特 转 置 向 量 w (1) 
证 明 对 于 第 11.4 节 描 述 的 脉动 MVDR 波束 形成 器 ,有 
Alla(n — 1)|? = Ja(a) i? + e(a) 


RE | a(n) | 为 辅助 向 量 a(n) 的 欧 氏 范 数 ,4 为 指数 加 权 因 子 ,e(n) 为 某 个 估计 误差 。 


10. 逆 QR-RLS 算法 是 标准 RLS 滤波 器 的 自然 扩展 ,因此 它 可 以 看 做 平方 根 RIS 算法。 证明 


这 一 表述 的 正确 性 。 


面向 计算 机 的 实验 


11. 


12. 


本 题 中 ,我 们 再 来 考虑 第 11.4 节 描 述 的 MVDR 波束 形成 的 计算 机 实验 , 它 涉及 互 不 相关 
的 目标 信号 源 和 于 扰 信号 源 。 该 目标 的 信 品 比 为 10 dB ,干扰 噪声 比 为 40 dB。 如 前 ,干扰 
信和 号 到 达 角 为 

， Pintert = sin (0) 
然而 ,此 时 我 们 研究 当 目 标 信号 逼近 干扰 信和 号 时 ,波束 形成 器 的 空间 响应 。 试 对 下 面目 标 
信和 号 的 到 达 角 : 
(i) Piga = sin™' ( -0.15) 
Gi) ranger = sin 1 ( -0.10) 
Cii) pour Sin™' ( -0.05) 
E HH YB OA FZ SC a AI As TR] PE RR CS J BY HS ,并 评论 所 得 结果 。 
习题 11 中 的 目标 信号 源 和 干扰 信号 源 之 间 互 不 相关 。 在 本 题 中 ,我 们 研究 当 两 者 相关 
时 ,MVDR 波束 形成 器 空间 响应 的 情况 。 即 ,将 阵列 天 线 的 信和 号 用 基带 的 形式 定义 如 下 

u(n) = 40exp(jnpo) + Ai exp (jn; + jji) + v(n) n=0,1,2,3,4 

其 中 A 和 A 分 别 为 具 标 信号 和 干扰 信号 的 幅度 , 9. 和 0, 为 各 自 的 角度 水; 为 某 个 固定 
相 移 。 对 新 的 输入 u(n) 重 做 习题 11 的 计算 机 实验 。 
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本 章 研 究 另 一 类 线性 自 适应 滤波 器 ,其 设计 基于 阶 数 更 新 和 时 间 更 新 的 递归 算法 路。 这 
种 新 的 自 适应 滤波 器 与 前 面 章节 所 研究 的 滤波 器 的 不 同 之 处 在 于 阶 更 新 。 而 这 可 以 利用 均匀 
采样 后 时 间 数 据 的 时 移 特性 来 实现 。 就 结构 而 言 , 阶 更 新 获得 一 种 计算 高 效 、 模 块 化 以 及 格 型 
的 结构 ; 它 可 将 前 面 m -1 阶 计算 得 到 的 信息 传递 到 更 新 后 的 m 阶 滤波 器 。 最 后 结果 是 实现 
其 计算 复杂 度 与 滤波 器 m 阶 呈 线 性 关系 的 自 适应 滤波 器 。 

与 其 他 类 型 线性 自 适应 滤波 器 相同 , 阶 递 归 自 适应 滤波 器 的 设计 也 是 基于 下 面 两 种 方法 : 


1) 随机 梯度 法 “ 它 建 立 在 第 3 章 由 维 纳 滤波 器 理论 所 导出 的 线性 格 型 预测 器 的 基础 上 。 
2) 最 小 二 乘法 “ 它 建立 在 卡尔 曼 滤波 器 与 第 10 章 导出 的 递归 最 小 二 乘 (RLS) 滤 波 器 之 
间 对 应 关系 的 基础 上 。 


从 随机 梯度 法 得 出 的 阶 递归 自 适 应 滤波 器 设计 简单 ,但 在 特性 方面 是 近似 的 ;其 设计 的 简单 
性 在 于 格 型 滤波 器 的 每 一 级 只 有 一 个 反射 系数 。 相 比 之 下 ,基于 最 小 二 乘法 的 阶 递归 自 适应 滤 
波 器 比较 精确 ;但 其 算法 表达 式 需要 更 多 的 软件 编码 关系 。 其 算法 的 复杂 性 在 于 最 小 二 乘 格 型 
预测 器 的 每 一 级 需要 两 个 不 同 的 反射 系数 来 表征 它 ,一 个 用 于 前 向 预测 , 另 一 个 用 于 后 向 预测 。 

下 一 节 ,考虑 梯度 自 适 应 格 型 滤波 器 ,由 此 开始 对 阶 递归 自 适 应 滤波 器 的 研究 。 在 其 他 各 
节 里 ,再 来 研究 其 他 形式 的 阶 递归 最 小 二 乘 自 适应 滤波 器 。 


12.1 梯度 自 适应 格 型 滤波 器 


梯度 自 适 应 格 型 (GAL, gradient-adeptive lattice) 滤波 器 是 由 Griffiths(1977,1978) 提 出 的 , 它 
可 看 做 归 一 化 最 小 均 方 (LMS) 滤波 器 的 自然 扩展 ,因为 在 算法 实现 上 ,二 者 都 依赖 随机 梯度 
法 。 图 12.1 示 出 了 期 望 响应 4(n) 估 计 的 基本 结构 , 它 是 基于 同时 进行 前 后 向 预测 的 多 级 格 
型 滤波 器 (该 图 与 图 3.13 相同 )。 下 面 ,我 们 首先 导出 多 级 格 型 预测 器 的 递归 阶 数 更 新 ,然后 








四 本 章 所 讨论 的 阶 递归 自 适 应 滤波 器 算法 族 是 人 们 熟知 的 自 适应 滤波 快速 算法 的 一 类 。 在 递归 最 小 二 乘 估计 中 ,如 
果 算 法 的 复杂 度 随 可 调 参数 呈 线 性 增长 , 则 称 该 算法 为 快速 算法 。 因 此 ,就 计算 而 言 , 快 速算 法 类 似 于 LMS 算法 ， 
但 就 编码 而 言 ,其 要 求 更 为 严格 。 

与 本 章 中 讨论 的 格 型 预测 器 快速 算法 相 比 ,下 面 两 种 快速 RLS 算法 可 直接 计算 自 适应 横向 滤波 器 系数 : 

。 快 速 横向 滤波 器 (FIF) 算 法 , 它 涉 及 前 \ 后 向 预测 ,增益 向 量 计算 、 联 合 过 程 估 计 等 四 种 滤波 器 的 联合 使 用 (Ciot 
& Kailath, 1984)。 这 是 一 种 很 好 的 算法 。 然 而 , 当 采 用 有 限 精度 来 实现 时 , 它 有 数值 不 稳定 的 趋势 。 为 了 使 算法 
稳定 ,必须 对 它 做 某 种 修改 , 见 第 13 章 的 讨论 。 

。 卡尔 曼 增益 估计 器 (KaGE) , 它 是 一 种 快速 RLS 算法 (Skidmore & Proudler,2001)。 这 种 新 算法 采用 内 插 和 预测 的 
方法 ,通过 在 数值 上 表现 良好 的 无 平方 根 QR-RLS 技术 产生 增益 向 量 k(n)。 从 计算 结果 可 以 立即 得 到 最 小 平方 
二 乘 权 向 量 W(n)。 对 该 算法 来 说 新 的 一 点 是 ,新 的 内 插 误 差 ( 残 差 ) 以 阶 数 递归 方式 计算 。 对 于 一 个 M 阶 自 适 
应 滤波 问题 ,该 算法 需要 OCM log MM) 次 迭代 。 这 可 通过 分 而 胜 之 (divide-and-conquer) 的 方法 来 达到 。 然 而 , FTF 
算法 误差 随时 间 指 数 增长 ,而 KaGE 算法 则 呈 线 性 增长 。 计 算 机 模拟 表明 ,这 种 新 算法 能 够 成 功 地 进行 成 百 上 
千 万 次 的 迭代 ,其 鲁 棒 性 很 好 ,因而 很 适合 于 实际 的 应 用 。 


第 12 章 阶 递归 自 适 应 滤波 器 427 


得 出 期 望 响应 估计 器 相应 的 更 新 。 
第 1 级 SMR 





fu-ln) fu (n) 





Yule) = 期 望 响 应 
a(n) tiit 


图 12.1 基于 格 型 结构 的 联合 过 程 估 计 ,其 中 每 一 阶 含有 一 个 反射 系数 


12.1.1 多 级 格 型 预测 器 


图 12.2 示 出 了 一 个 单 级 格 型 预测 器 的 方 框图 ,其 输入 输出 关系 用 单个 参数 一 一 反射 系数 
Ky 来 表征 。 假 设 输入 数据 广义 平稳 且 en 为 复 值 。 对 于 x 的 估计 ,首先 考虑 代价 函数 


1 
Tn = 3 Elfan) + [bmt P] (12.1) 
其 中 ,f,(n) 为 前 向 预测 误差 , 5,,(n) 为 后 向 预测 误差 ,它们 都 是 在 本 级 滤波 器 输出 端 测量 的 ; 
E 为 统计 期 望 算 子 ;引入 因子 1/2 是 为 了 简化 表达 式 。 从 第 3.8 节 我 们 已 经 知道 , 格 型 滤波 器 
的 输入 输出 关系 为 ( 见 图 12.2) 
faln) = fn-1(") + Khbm-i(n ~ 1) (12.2) 


和 
bn(n) = bn-i(n = 1) + Kmfm_1(7) (12.3) 


将 式 (12.2) 和 式 (12.3) 代 人 式 (12.1) ,我 们 得 到 
Jom = 3 (Elfa ] + Ellenin = DPA + en?) 


+ Km 五 fm-i(n)bž-(n 7 1)] + KX Elbn_1(n = 1)f*_1(n)] 
将 代价 函数 jn,。 对 复 反 射 系数 en 求 偏 导 ,可 得 


(12.4) 
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OS tm A ， 
Ee = po El + Ellba ln ~ DF) + Elbalta — Dfl] 02.5) 


如 令 该 梯度 等 于 零 , 则 当代 价 函数 jn,。 取 最 小 值 时 , 即 得 反射 系数 的 最 优 值 为 
2E[bni(n ~ 1)f%1(n)] 

E[l fn + [ona = DN] 
这 个 用 来 求 取 最 优 反射 系数 x,,.o 的 公式 , 称 为 Burg ZAR (Burg, 1968), 





(12.6) 


Kmo 一 


fm-1(n) 由 反射 系数 x fn(n) 


Bol) 表征 的 第 m 级 b(n) 


图 12,2 格 型 预测 器 第 m 级 的 方 框图 


Burg 公式 涉及 到 使 用 集 平均 。 设 输入 信号 wu(n) 是 各 态 历 经 的 , 则 如 第 1 章 所 述 ,可 用 时 
间 平 均值 代替 式 中 分 子 分 母 的 期 望 值 。 于 是 ，m 级 格 型 预测 器 反射 系数 x,,,。 的 Burg 估计 为 


2$ bnili - ft 





Km(n) = 


(12.7) 


Ms 


(lfa OF + 上 1)P) 


其 中 ,估计 值 c。 对 数据 块 长 度 n 的 依赖 性 也 反映 出 估计 与 数据 有 关 这 个 事实 。 

式 (12.7) 的 公式 是 反射 系数 en 的 一 个 块 估计 器 , 它 以 一 块 一 块 为 基础 对 格 型 滤波 器 第 m 
级 输入 预测 变量 fai GA ba G- IT) 进行 运算 。 因 此 ,可 通过 下 述 步骤 把 该 估计 器 重新 表示 
为 等 效 的 递归 结构 。 

首先 ,我 们 定义 


ll 


Bn_i(n) = È (fn OF + bml- DP) (12.8) 
它 是 直到 时 刻 n( 包 含 n) 测 得 的 m 级 输入 前 向 预测 误差 和 延迟 的 后 向 预测 误差 的 总 能 量 。 
EE (12.8) Ff. Cn)? + 1b, Cn 一 1)1 与 其 他 和 式 相 分 离 , 即 得 计算 zm-1(n) 总 能 量 的 弟 
HAR 
n—l1 


Emin) = D (DP + omai — VP) + [fF + bmt — 1) 
i=1 (12.9) 
= €,1(n — 1) + ARO + |bm_i(n 一 1)? 
采用 类 似 的 方式 ,可 对 式 (12.7) 中 的 分 子 写 出 递归 公式 , 它 表示 时 间 平 均 互 相关 
n n-1 
È bmili 一 了 js = È bmili — 1)f%-1(4) + bmilan — 1)fh-(n) (12.10) 


因此 ,将 式 (12.9) 和 式 (12.10) 代 人 式 (12.7) ,可 重新 写 出 反射 系数 en 的 Burg 估计 公式 





@ 该 公式 由 Burg 在 1968 年 的 论文 中 提出 , Childers 在 1978 年 编辑 的 书 中 薄 次 引用 。 
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n-1 
2 Š bmili — 1fh-1() + 2bm-(n — 1)f%1(n) 
Emal ~ 1) + fa + bmilan — DF 
式 (12.11) 仍 然 不 是 计算 估计 值 和 (mn) 的 标准 形式 。 为 了 得 到 标准 的 递归 形式 ,继续 进行 
a PAR 


o 用 时 变 估计 nln- 1) 代 替 cn ,将 式 (12.2) 和 式 (12.3) 分 别 写 为 
faln) = finn) + Ral — 1)B_—1(n — 1) (12.12) 


(12.11) 





Km(n) = 


和 
bm(n) = bmn-i(n — 1) + Rn(n — 1)fni(n) (12.13) 
其 中 ,m=1,2,…, M。 至 于 为 什么 用 nln- 1) 而 不 用 kn (n) 作 为 式 (12.12) 和 式 
(12.13) 的 正确 选择 的 实际 证 明 ,读者 可 参阅 习题 2。 
o 将 改写 后 的 式 (12.12) 和 式 (12.13) 与 式 (12.9) 联 立 , 有 
2bm-il(n — 1) fil) = bn-i(n 一 1f- (7) + fm-i(n)bm-i(n 一 1) 
= bmlan ~ 1)(Fm(a) — RAIN — 1)bm-iln — 1))* 
+ fiin)(ba(n) 一 Ra 人 一 了 六) 
= — Kan — Df + Jonata — 1)/°) 
+ (fin-1(1)Bn(2) + bml — 1)f%(n)) 
= = Rt — (n(n — 1) + fn)F + bma — 1)P) 
+ Ran — Bn — 1) + FR-1(2) nl) + bmilan — 1)f4(n)) 
= — Ky(n — 1)8,-1(n) + Eml — 1)6,-1(n — 1) 
+ (Fh-(n)baln) + bmi(n — 1)f%(n)) . 
o 用 刚刚 导出 的 关系 式 和 式 (12.7) 重 新 定义 的 x,, (n - 1) ,可 将 式 (12.11) 的 分 子 改写 为 
2S bnili 二 DA + ailn = fh) 
= — Rmln — 1)E in — 1) — Kann — 1)8 in) + Rn — 1)8,,-1(n — 1) 
+ (fii(n)ba(n) + bmilan — 1)f%(n)) 
=— Rann — WE n(n) + FR) Balt) + Dyin — 1)f%(n)) 
因此 ,将 这 个 关系 式 代 人 式 (12.11) 的 分 子 并 化 简 ,可 得 递归 关系 式 
_ fn) bal) + bmilan — 1)faln) 
En—1(1) 
为 了 最 终 确定 梯度 格 型 滤波 器 算法 的 表达 式 ,对 式 (12.9) 和 式 (12.14) 做 如 下 两 点 修改 
(Griffiths, 1977, 1978): 


1) 引入 步 长 参数 è, MREMA- KERIT KERER PEAR ARS RO: 





Rml n) = K,(n — 1) = 1,2,...,M (12.14) 





O 式 (12.15) 中 反射 系数 估计 器 的 时 间 基 本 与 Griffiths 1977, 1978) 提出 的 相同 。 我 们 的 结论 从 Burg 公式 严格 推导 得 
出 ,而 Griffiths 公式 中 -1(n) 项 的 提出 则 有 些 奇 特 。 
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Km(n) = Kn(n ~~ 1)— (fž- 1(7) baln) + bm- (n ~ 1)f%(n)) m=1,2,...,M (12.15) 


“0 
2) ssa 2.9) REE, PENERBIT a 
Ema) = Bénin = 1) + (1 = B)( lfm)? + [bml — DF) (12. 16) 
给 出 的 平方 预测 误差 进行 操作 ; 式 中 p 是 一 个 介 于 0< 8< 1 之 间 的 新 参数 。 
导出 式 (12.14) 的 递归 估计 器 ,原来 假设 工作 在 伪 平 稳 情况 下 。 为 了 处 理 非 平 稳 情况 下 的 


统计 变量 ,引信 修改 后 的 式 (12.16)。 修 改 的 目的 是 使 估计 器 具备 记忆 功能 ,并 借助 预测 能 量 
最 接近 的 过 去 值 Em-1(n) 及 其 现在 值 来 计算 估 值 c。(z) 的 现在 值 。 


12.1.2 期 望 响 应 估计 器 


下 面 转 到 期 望 响应 24(m) 的 舍 计 ,为 此 考虑 图 12.3 所 示 的 结构 , 它 是 图 12.1 中 m 级 估计 
的 一 部 分 ,其 中 m =0,1,…, M。 这 时 ,我 们 有 由 后 向 预测 误差 b(n), biln), =, bn (n) 
的 输入 向 量 ( 即 回归 融 )b,(n) 和 由 相应 参数 yh, hn 组 成 的 向 量 h(n)。 回 归 器 作用 于 
参数 向 量 ,以 产生 输出 信号 y。(z) , 它 就 是 期 望 响 应 d(n) 的 佑 值 。 

后 向 预测 误差 


bo(n) bi(n) bm(n) 


四 -的 


图 12.3 用 普 后 向 预测 序列 的 期 望 响应 估计 器 





对 的 估计 ,可 采用 随机 梯度 的 方法 ,并 继续 沿用 第 6.1 节 得 出 的 归 一 化 LMS 算法 。 首 
先 ,参照 图 12.3 容易 看 出 ,期望 响应 4(n) 的 阶 更 新 估计 定义 为 


pln) = > ht n)be(n) 


= DAk (nb + 局 (mn)bn(n) (12.17) 
= yan) + h(n)ba(n) 
相应 地 ,估计 误差 定义 为 
Cn(n) = d(n) 一 Yan) (12.18) 
最 后 ,如 将 第 6 章 式 (6.10) 用 于 图 12.3 所 述 情况 ， aa m 阶 回归 参数 的 时 间 更 新 表示 为 


nln + 1) = hnln) 十 十 -世人 eg 四 (12.19) 
其 中 为 步 长 参数 , 欧 氏 范 数 平方 | bs(n) ?由 阶 更 新 定义 为 
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b(n)? 


Ms 


bn) = 


~ 
Il 


0 


AO + bn) (12.20) 


k=0 


Ib 二 |) 


li 


12.1.3 GAL 算法 总 结 


式 (12.12) 和 式 (12.13) 与 式 (12.16) 和 式 (12.15) 分 别 为 CAL 算法 多 级 格 型 滤波 器 的 阶 数 
更 新 和 时 间 更 新 。 式 (12.17) 和 式 (12.20) 与 式 (12.19) 分 别 为 算法 的 期 望 响 应 估计 器 的 阶 数 更 
新 和 时 间 更 新 。 所 有 这 些 都 总 结 在 表 12.1 中 , 表 中 也 示 出 如 何 对 GAL 算法 进行 初始 化 。 
如 果 要 求 CAL 算法 呈现 良好 的 收敛 性 ,推荐 取 w <0.1。 
3212.1 GAL 算法 小 结 


参数 : M = 最 终 预 测 阶 数 
y 常数 ,位 于 范围 (0,1) 
B=p<0.1 
6: 小 的 正常 数 
&: 男 一 小 的 正常 数 
多 级 格 型 预测 器 : 


对 于 预测 阶 数 m = 1,2,…, MM, 置 
fmlO) = bn(0) = 0 
Bn_1(0)= a 
K,,(0) =0 
对 于 时 间 步 m= 1,2,…, 置 
fo(n) = bo(n)=uln) uCn)= 格 型 顶 测 器 输入 
对 于 预测 阶 数 m = 1,2,…, M 和 时 间 步 n= 1,2,… ,计算 
Bi(n) = Bern 1) + -Bfn + lbs ila — DF) 
faln) = fma ln) + RAiN — 1)bm1(n — 1) 
ba(n) = Byala — 1) + Rn — 1)fa-i(n) 





Rl) = n(n = 1) = g ry fabla) + Bat = DFA] 
期 望 响应 估计 器 ， 
对 预测 阶 数 m=0,1, =, M, BE 
h»(O) = 0 


对 时 间 步 n= 0,1,--, 
y(n) = Dllb_i(al2 = 5 

对 于 预测 阶 数 m =0,1…,M 和 时 间 步 n=0,1,… ,计算 
Jo(m = yi + h(n)bn(n) 
em(n) = d(n) — yn(n) 
Nb = hbm- + jw 


[RE 





hn + 1) = h,,(n) 4 
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12.1.4 GAL 算法 的 性 质 


当 反 射 系数 cu(nm) 更 新 式 中 使 用 时 变 步 长 参数 mm (n) =p 必 nw-1(n) 时 引入 了 一 种 类 似 于 归 一 
化 LMS 算法 的 归 一 化 的 形式 。 由 式 (12.16) 可 以 看 出 ,对 于 较 小 的 前 后 向 预测 误差 ,参数 8m-1(n) 相 
应 较 小 ;或 者 等 效 地 , 步 长 参数 ro (n) 相 应 较 大 。 从 实用 观点 看 ,这 种 性 能 比较 合乎 需要 。 本 质 上 ， 
小 的 预测 误差 意味 着 自 适应 格 型 预测 器 正在 为 它 所 运行 的 外 部 环境 提供 一 个 精确 的 模型 。 因 此 ， 
如 果 预 测 误差 增 大 ,应 该 是 外 部 环境 变化 引起 的 ;在 这 种 情况 下 ,能够 对 这 种 变化 做 出 快速 响应 的 
自 适 应 格 型 滤波 器 将 是 高 度 合乎 需要 的 。 事 实 上 ,可 通过 设 定 pw (n) 为 一 个 较 大 值 来 实现 这 一 目 
的 ,这 也 使 得 GAL 算法 中 的 式 (12.15) 一 开始 就 能 够 快速 收敛 到 新 的 环境 。 另 一 方面 ,如 果 加 到 自 适 
应 格 型 预测 器 的 输入 数据 含 噪 过 多 ( 即 有 用 信号 上 加 有 很 强 的 白 噪 声 成 分 ), 则 由 自 适 应 格 型 预测 
器 所 产生 的 预测 误差 相应 就 大 。 在 这 种 情况 下 ,参数 8m-!1(n) 取 较 大 值 ,或 者 等 效 地 , 步 长 参数 
Lna《n) 取 较 小 值 。 因 此 ,这 时 GAL 算法 中 式 (12.15) 并 不 恰好 像 我 们 所 希望 的 那样 ,能 对 外 界 环境 的 
变化 做 出 快速 响应 (Alexander,1986a ) 。 

前 面 ,我 们 将 GAL 算法 作为 实际 的 近似 ,其 理由 如 下 : 


e 第 3 章 在 假设 多 级 格 型 预测 器 输入 信号 wu(n) 来 自 平稳 信 源 的 情况 下 ,我 们 分 别 得 到 前 
后 向 预测 误差 的 阶 数 更 新 式 (12.12) 和 式 (12.13)。 为 了 对 付 非 平稳 环境 ,将 能 量 估计 器 
修改 为 式 (12.16) 的 形式 , 它 显然 满足 条 件 。 

@ 更 重要 的 是 ,在 非 平稳 环境 下 图 12.1 所 示 的 多 级 格 型 预测 器 将 无 法 保证 通过 采用 GAL 
算法 来 保持 其 去 耦 性 ( 即 后 向 预测 误差 的 正 交 性 )。 


最 后 结果 表明 ,尽管 CAL 算 法 的 收敛 性 比 LMS 算法 要 好 , 它 却 没有 本 章 其 他 部 分 要 讨论 的 
递归 最 小 二 乘 格 型 算法 好 。 但 另 一 方面 ,GAL 算法 的 实现 相对 简单 ,从 实用 角度 看 很 有 吸引 力 。 


12.2 ”采用 最 小 二 乘 估计 的 阶 递归 自 适 应 滤波 器 :概述 


在 第 10 章 ,我 们 建立 了 卡尔 曼 滤波 器 和 递归 最 小 二 乘 (RLS) 滤 波 器 之 间 的 对 应 关系 。 本 
章 将 利用 这 一 关系 来 表示 格 型 滤波 最 基本 的 状态 空间 模型 ;以 便 在 使 用 精确 最 小 二 乘 估计 推 
导 阶 递归 自 适应 滤波 器 算法 公式 时 ,也 能 够 利用 卡尔 曼 滤 波 器 理论 的 相关 结果 。 与 GAL 自 适 
应 滤波 器 相同 ,其 他 类 型 阶 递归 自 适应 滤波 器 也 涉及 到 前 后 向 预测 。 然 而 ,与 GAL 滤波 器 不 
同 的 是 ,采用 最 小 二 乘 估计 的 阶 递归 自 适 应 滤波 器 的 每 一 级 都 需要 两 个 反射 系数 ,一 个 用 于 前 
向 预测 , 另 一 个 用 于 后 向 预测 。 结 果 表 明 ,采用 最 小 二 乘 估计 的 阶 递 归 自 适应 滤波 器 的 基础 理 
论 更 加 严密 ,但 比 GAL 自 适应 滤波 器 复杂 得 多 。 

采用 最 小 二 乘 估计 的 阶 递归 自 适应 滤波 器 有 两 种 : 


1) 基于 QR 分 解 的 最 小 二 来 格 型 (QRD-LSL) 自 适应 滤波 器 CKHT QR 分 解 中 酉 旋转 
的 使 用 。 采 用 西 旋转 的 目的 是 为 了 产生 一 个 后 阵列 以 消除 前 阵列 中 的 某 一 项 。 

2) 递归 最 小 二 乘 格 型 (LSL) 自 适应 滤波 器 ” 它 通过 将 QRD-LSL 算法 中 的 阵列 取 平 方 而 得 
到 。 平 方 的 结果 去 除了 算法 中 的 酉 旋转 ,从 而 简化 了 实现 。 然 而 , 当 递 归 LSL 算法 采 
用 有 限 精度 实现 时 ,这 种 简化 会 降低 数值 的 精度 ,可 能 带 来 不 稳定 。 
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因此 ,可 以 明显 地 看 出 ,QRD-LSL 算法 是 基本 的 阶 递归 自 适应 滤波 算法 。 在 本 章 其 余部 分 
将 介绍 该 算法 的 推导 。 
QRD-LSL 算法 涉及 的 计算 有 以 下 几 项 : 
© 自 适应 前 后 向 线性 预测 器 ,它们 用 各 自 独立 的 参数 向 量 来 表征 。 
0 变换 因子 , 它 提供 了 先 验 和 后 验 估计 误差 不 同 集合 之 间 的 联系 。 
o 最 小 二 乘 格 型 预测 器 , 它 的 每 一 级 用 一 对 反射 系数 来 表征 。 
© 角度 归 一 化 , 它 使 得 格 型 预测 器 的 公式 对 先 验 和 后 验 误差 具有 不 变性 。 
© 格 型 滤波 的 一 阶 状态 空间 模型 ,其 公式 为 导出 QRD-LSL 算法 铺 平 了 道路 。 
在 讲述 这 些 方面 时 ,我 们 既 推 导 最 小 二 乘 格 型 形式 的 列 文 森 - 杜 宾 (Levinson-Durbin) 递 推 ， 
也 推导 用 A,,_1(n) 表 示 的 茶 种 互相 关 函 数 的 时 间 更 新 递归 关系 式 。 后 者 对 QRD-LSL 算法 的 
进步 起 着 关键 性 作用 。 


12.3 自 适 应 前 向 线性 预测 


如 图 12.4(a) 所 示 ,考虑 运行 在 n 时 刻 的 m 阶 前 向 线性 预测 器 。 在 整个 观测 区 间 1< i<n 
内 ,在 最 小 二 乘 意 义 下 优化 抽 头 权 向 量 wr (nm) , 令 
fali) = uli) — WH,(2)u,,(i — 1) i=1,2,...,n (12.21) 
表示 预测 器 i 时 刻 所 产生 的 前 向 预测 误差 , 它 对 应 于 m 阶 抽 头 输入 向 量 u,(i - 1)。 根 据 定 
义 ,u( 站 为 前 向 线性 预测 器 的 期 望 响应 ,输入 向 量 mg (i - 1) 和 权 向 量 Ww (n) 分 别 为 
umli — 1) = [ui — 1), ul — 2),...,u(i — m) 
和 
Wrm(n) = [wp mln), Wy mal Ah ， wm mln) | 
我 们 将 f, (i 让) 看 做 前 向 后 验 预测 误差 ,因为 其 计算 基于 前 向 预测 器 抽 头 权 向 量 的 当前 值 wy, (2) 0 
相应 地 ,可 定义 前 向 先 验 预测 误差 为 
Nmli) = u(i) 一 WF n(n — 1)un(i — 1) i=1,2,...,n (12.22) 
其 计算 基于 前 向 预测 器 抽 头 权 向 量 的 过 去 值 wj (mn - 1)。 效 应 上 ,7 (站 是 新 息 的 一 种 形式 。 
考虑 到 RLS 算法 , 表 12.2 列 出 了 表征 一 般 线 性 估计 的 各 种 量 与 表征 特殊 的 前 向 线性 预测 
各 种 量 之 间 的 对 应 关系 。 通 过 该 表 , 可 直接 修改 第 9.3 节 和 第 9.4 节 导 出 的 RIS 算法 ,以 写 出 
前 向 自 适 应 线性 预测 器 的 递归 形式 。 我 们 具体 导出 了 前 向 预测 器 抽 头 权 向 量 更 新 的 递归 形式 
Wem(n) = We mn — 1) 十 k(n — 1)n%(n) (12.23) 
其 中 p(n) 为 式 (12.22) 中 i =n 时 刻 的 前 向 先 验 预测 误差 ,k(n - 1) 为 下 式 所 定义 的 增益 向 
量 的 过 去 值 
k(n — 1) = ©; (n — 1)u,,(n — 1) (12.24) 
ERE Di (n — 1) Re HA BH SE , FE A 


Hi 一 1 
„(n 一 1) = 2 Atan (i u(i) (12.25) 
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刚才 描述 的 自 适应 前 向 线性 预测 问题 是 一 种 以 抽 头 权 向 量 Wyn (7 ) 表 征 的 预测 器 问题 。 
等 效 地 ,我 们 也 可 以 将 它 描述 为 如 图 12.4(b) 所 示 的 前 向 预测 误差 滤波 器 。 令 an(n) RAR m 
阶 预 测 误 差 滤 波 器 的 (m + 1) x 1 抽 头 权 向 量 , 它 与 图 12.4(a) 中 的 前 向 预测 需 的 关系 为 


[annem | 
a„(n) = ty, n(n) (12.26) 


其 中 au(nm) 的 第 一 个 元 素 auo(nm) 为 1。 然后 ,我们 可 分 别 将 前 向 后 验 预测 误差 和 前 向 先 验 预 
测 误差 重新 定义 为 
fn(i) = a(n) Uni (i) i=1,2,...,n (12.27) 
和 
M(t) = az(7 一 Ja i= 1,2,...,0 (12.28) 
其 中 ,m+1 A Eo, ., (i) a Rh aR 










前 向 预测 
误差 fn(n) 





(b) 对 应 的 预测 误差 滤波 器 
图 12.4 自 适 应 前 向 线性 预测 器 
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表 12.2 线性 估计 、 前 向 预测 和 后 向 预测 之 间 的 对 应 关系 小 结 





参量 线性 估计 (一 般 》 mm 阶 前 向 线性 预测 mm 阶 后 向 线性 预测 
抽 头 输入 向 量 u(n) u,, (2-1) Un(n) 

期 望 响 应 d(n) u(n) u(n- m) 

抽 头 权 向 量 w(n) Wn (7) Wo,n(n) 

后 验 估计 误差 e(n) faln) ba (n) 

先 验 估计 误差 Eln) Tn Cn) Bn(n) 

增益 向 量 k(n) k, (n- 1) kn (n) 

加 权 误 差 平方 和 的 最 小 值  Emnla) F m(n) Bn(n) 


抽 头 权 向 量 wj (nn) 满足 前 向 线性 预 质 测 的 正 交 性 原理 , 即 
Sol — 1)f%(i) = 0 (12.29) 


# 12.3 总 结 出 线性 最 小 二 乘 估计 .前 向 预测 和 后 向 预测 的 正 交 性 原则 。 表 中 的 第 一 项 是 第 8 
章 中 用 线性 最 小 二 乘法 导出 的 式 (8. 15) 的 一 一 种 指数 加 权 扩 展 。 第 二 项 通过 利用 表 12.1 的 对 
应 关系 直接 从 第 一 项 得 出 。 


表 12.3 线性 估计 、 前 向 预测 和 后 向 预测 正 交 性 原理 小 结 





线性 估计 (一 般 ) m 阶 前 向 线性 预测 m 阶 后 向 线性 预测 
Si)e(i) = 0 Sanli- DS) = 0 Sain, li) os) = 0 
A izi j=1 


抽 头 权 向 量 wj,，(n) 也 可 以 看 做 在 1<i<n 范围 内 对 前 向 后 验 预测 误差 加 权 平 方 和 进行 
最 小 化 得 到 的 解 , 即 最 小 化 如 下 代价 函数 


Fn(n) = Sara? (12.30) 

的 结果 。 等 效 地 ,预测 误差 滤波 器 抽 头 权 向 量 a,, (n) 也 是 同一 最 小 化 问题 在 满足 约束 条 件 即 
满足 a,(n) 的 第 一 个 元 素 应 等 于 1 [根据 式 (12.26) ] 时 的 解 。 

最 后 ,将 式 (12.21) 的 定义 用 于 式 (12.30) ,并 根据 式 (12.29) 的 正 交 性 原则 和 式 (12.23) 的 


递归 形式 ,我 们 得 到 更 新 的 加 权 前 向 预测 误差 平方 和 ( 即 前 向 预测 误差 能 量 ) 的 最 小 值 的 递归 
形式 


Fn(n) = AF m(n ~ 1) + nm(n)f a(n) (12.31) 
式 中 ,对 所 有 m 和 ,乘积 项 p(n)f*%(n) 均 为 实数 。 


12.4 自 适应 后 向 线性 预测 


下 面 考虑 如 图 12.5(a) 所 示 运 行 在 n 时 刻 的 m 阶 后 向 线性 预测 器 。 在 整个 观测 区 间 
1<i<n 内 ,该 预测 器 的 抽 头 权 向 量 wj (m) 在 最 小 二 乘 意义 下 被 最 小 化 。 令 
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bali) = u(i — m) — Whmn)uni) i=1,2,...,n (12.32) 
表示 预测 器 在 i 时 刻 产 生 的 后 向 预测 误差 , 它 对 m OSA to, (让 做 出 响应 。 根 据 定 
义 ,wu(i-- m) 为 后 向 线性 预测 器 的 期 望 响应 , 故 有 
i) = [uliuli — 1),...,u(i m+ 1)] 
和 
We m(n) = [p m (7), Ws, m a(n), nr.’ We m mn)] 


我 们 将 bn (i) 看 做 后 向 后 验 预测 误差 , A Ri AE FE m aS A 4 E 
Ws.n(n)。 对 应 地 ,我 们 可 定义 后 向 先 验 预 测 误差 为 


Bn(i) = ufi — m) — Wh (n — 1)u,,(i) i=1,2,...,n (12.33) 
它 的 计算 基于 后 向 预测 器 抽 头 权 向 量 的 过 去 值 w, n(n- 1) 





(b) 对 应 的 后 向 预测 误差 滤波 器 
图 12.5 自 适 应 后 向 线性 预测 


表 12.2 也 列 出 表征 一 般 的 线性 估计 的 各 种 量 与 表征 特殊 的 后 向 线性 预测 各 种 量 之 间 的 
对 应 关系 。 同 样 地 ,我 们 可 以 通过 这 些 对 应 关系 ,修改 第 9.3 节 和 第 9.4 节 导 出 的 RLS 算法 ， 


第 12 章 阶 递归 自 适应 滤波 器 437 


写 出 自 适应 后 向 线性 预测 器 的 递归 形式 。 于 是 ,得 到 后 向 预测 器 抽 头 权 向 量 更 新 的 递归 
形式 为 


Wo m(n) = Wom(n — 1) + k,,(2) baln) (12.34) 
其 中 B,(n) 为 i =n 时 式 (12.33) 定 义 的 后 向 先 验 预 测 误差 。 而 
kn(n) = Ba (n)um(n) (12.35) 
是 增益 向 量 的 当前 值 ,其 中 i'(n) 为 输入 数据 相关 和 矩阵 (忽略 了 正则 化 项 ) 
bln) = Da) ub) (12.36) 


HERE, 

刚才 所 描述 的 后 向 线性 预测 器 问题 是 一 种 由 抽 头 权 向 量 w,,， (n) 表 征 的 后 向 预测 器 问 
题 。 等 效 地 ,我 们 也 可 以 借助 后 向 预测 误差 滤波 器 描述 该 问题 ,如 图 12.5(b) 所 示 。 令 co (n) 
表示 m 阶 预测 误差 滤波 器 的 抽 头 权 向 量 , 它 与 图 12.5(a) 中 后 向 预测 器 的 关系 为 


cnn) = | | (12.37) 


其 中 c,,(n) 的 最 后 一 个 元 素 6c,,(n) 为 1。 这 样 ,利用 m +1 输入 向 量 ui(i), 后 向 后 验 预测 
误差 和 后 向 先 验 预测 误差 可 以 分 别 写 为 
bnli)= Cn )UneiG) i=1,2,...,.n (12.38) 
和 
Bm(i) = chln — Tani) i=1,2,...,n (12.39) 
在 这 种 情况 下 ,输入 向 量 u,,,1(i) 可 用 下 列 方式 分 块 


yf ali 
oO 


抽 头 权 向 量 六 (mn) 满 足 后 向 线性 预测 的 正 交 性 原则 , 即 
TOO) =0 (12.40) 


这 个 式 子 ( 即 表 12.3 中 的 最 后 一 项 ) 可 利用 表 12.2 PREMERA , MRR RRB 
表 12.2 中 的 第 一 项 ) 直 接 推 出 。 

抽 头 权 向 量 w,,。(m) 也 可 以 看 做 对 加 权 后 向 后 验 预 测 误差 平方 和 最 小 化 获得 的 解 , 即 最 
小 化 如 下 代价 函数 


Bn(n) = Sab, (i) PM L<i<n (12.41) 
i=1 


的 结果 。 等 效 地 ,后 向 预测 误差 滤波 器 的 抽 头 权 向 量 cn (n) ,也 是 同一 最 小 化 问题 在 满足 约束 
条 件 , 即 cu(zm) 的 最 后 一 个 元 素 等 于 1[ 根 据 式 (12.37)j 时 的 解 。 

将 式 (12.32) 的 定义 用 于 式 (12.41) ,并 根据 式 (12.40) 的 正 交 性 原则 和 式 (12.34) 的 递归 形 
式 ,可 得 后 向 预测 误差 加 权 和 的 最 小 值 ( 即 后 向 预测 误差 能 量 ) 的 递归 形式 如 下 


438 自 适应 滤波 器 原理 


Bnln) = ABn(n — 1) + Bun(n)br(n) (12.42) 
式 中 ,对 所 有 m An, RER B, (n) b7 (nm) 均 为 实数 。 
在 结束 递归 最 小 二 乘 预测 问题 的 讨论 前 , 邻 人 感 兴趣 地 注意 到 ,在 后 向 预测 情况 下 ,从 输 
人 向 量 u, ,1(n) 中 分 出 最 后 一 项 作为 期 望 响应 wu(n - m); 另 一 方面 ,在 前 向 预测 情况 下 ,从 输 
人 向 量 us (n) 中 分 出 第 一 项 作为 期 望 响应 u(n)。 同 样 地 ,我 们 也 注意 到 , 式 (12.34) 中 后 向 
线性 预测 器 的 抽 头 权 向 量 Wi, n (n) 的 更 新 递归 需要 知道 增益 向 量 的 当前 值 k, (nn); 而 另 一 方 
面 , 式 (12.23) 中 前 向 线性 预测 器 的 抽 头 权 向 量 wj 。(m) 的 更 新 递归 需要 知道 增益 向 量 的 过 去 
TE k,,(n- 1). 


12.5 变换 因子 


定义 mxi 向 量 
k„(n) = Ban)an(n) 
它 可 看 做 最 小 二 乘 估计 正则 方程 一 种 特殊 情况 的 解 。 具 体 来 说 ,增益 向 量 kn (n) 定 义 了 横向 
滤波 器 的 抽 头 权 向 量 , 该 滤波 器 包含 m 个 抽 头 ,而 且 对 输入 数据 wu(1),w(2),… ,wu(n) 进 行 运 
算 以 产生 如 下 特殊 期 望 响应 
的 最 小 二 乘 估计 ,其 元 素 等 于 式 (12.43) 中 d(i) 的 n x1 向量 称 为 第 一 坐标 向 量 ,该 向 量具 有 
如 下 性 质 : 它 与 任何 时 间 相 关 向 量 的 内 积 , 产 生 该 向 量 上 方 或 “最 新 ”的 元 素 。 
将 式 (12.43) 代 人 式 (9.9) 可 知 , 横 向 滤波 器 m 个 抽 头 输入 与 期 望 响 应 之 间 的 m x 1 互相 
关 向 量 z, (n) 等 于 n(n)。 因 此 ,这 也 验证 了 增益 向 量 k,, (nr) ER (12.43) ee X R E 
所 产生 的 正则 方程 的 特殊 解 。 
对 这 里 描述 的 问题 ,我们 定义 估计 误差 
Ym(n) = 1 — ka(n)un(n) 
=1 — uf(n)®7(n)u,,(7) 
该 估计 误差 y,(m) 表 示 其 抽 头 输入 权 向 量 等 于 增益 向 量 k, (n) 且 其 激励 信号 为 抽 头 输入 向 
量 y(n) 时 横向 滤波 器 的 输出 ,如 图 12.6 所 示 。 由 于 滤波 器 的 输出 具有 埃 尔 米 特 形 式 , 故 可 
导出 估计 误差 y,, (n ) 为 实 值 标量 。 而 且 , y。(z) 具 有 以 0 和 1 为 边界 的 重要 性 质 , 即 
0 < ym(n) <1 (12.45) 
该 性 质 很 容易 通过 以 式 (9.16) 的 递归 形式 代替 式 (12.44) 的 道 矩 阵 O, (nm ) 而 得 到 证 明 ,而 且 
经 简化 后 可 得 





(12.44) 


1 
T 1+ Xue Ban — 1)u,,(n) (12.46) 
BORK wl (n) Oi (n —1)u,(n)s0 HO<A<1o Flt, fhiPiee Ya (m) 以 式 (12.45) 
为 界 。 


Ym( 7) 
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值得 注意 的 是 ,7,, (n) 也 等 于 图 12.6 横向 滤波 器 所 产生 的 加 权 误差 平方 和 ,该 滤波 器 的 
抽 头 权 向 量 等 于 增益 向 量 k,,(n) ,以 便 获 得 第 一 坐标 向 量 的 最 小 二 乘 估计 (见习 题 3) 。 


u(n — 1) u(n — m + 2) u(n — m+ 1) 





图 12.6 定义 估计 误差 7, (z) 的 横向 滤波 器 


12.5.1 Ynm(n) 的 其 他 有 用 解释 
取决 于 所 采用 方法 ,参数 ya (n) 可 以 有 其 他 三 种 完全 不 同 的 解释 : 


1) 参数 y,,(n) 可 以 看 做 似 然 变 量 (Lee et al.，1981), 这 一 解释 是 在 假设 输入 抽 头 具有 联 
合 高 斯 分 布 的 情况 下 ,根据 其 对 数 似 然 函 数 , 从 输入 抽 头 向 量 的 统计 公式 得 出 的 。 

2) 参数 y (nm) 可 看 做 角度 变量 (Lee et al. ,1981; Carayannis et al. ,1983) ,这 一 解释 来 自 式 
(12.44)。 特 别 地 ,根据 第 11.3 节 的 讨论 ,可 将 7,, (n) 的 ( 正 ) 平 方 根 表 示 为 

y(n) = cosan) 

其 中 b(n ) 表 示 平 面 (Givens) 旋 转角 [ 见 式 (11.53)]。 

3) 参数 y (n) 可 看 做 变换 因子 (Carayannis et al. ,1983)。 根 据 这 一 解释 ,在 已 知 相应 的 先 
验 估计 误差 时 ,7Y, (n) 的 有 效 性 可 帮助 我 们 确定 先 验 估计 误差 值 。 


这 里 我 们 要 讨论 的 是 第 三 种 解释 。 事 实 上 , 正 是 由 于 这 一 解释 ,我 们 才 引 和 人 “变换 因子 ”这 
一 术语 来 描述 y (1) 0 
12.5.2 三 种 估计 误差 


在 线性 最 小 二 乘 估 计 中 ,需要 考虑 三 种 类 型 的 估计 误差 :一 般 估计 误差 (涉及 一 些 期 望 响 
应 的 估计 )、 前 向 预测 误差 和 后 向 预测 误差 。 相 应 地 , Yn (n) 作 为 变换 因子 也 有 如 下 三 种 不 同 
的 解释 : 


1) 对 于 递归 最 小 二 乘 佑 计 


(12.47) 
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其 中 6 (n) 为 后 验 估计 误差 ,而 所 (nm) 为 先 验 估计 误差 。 通 过 用 un (n) 后 乘 式 (9.25) 
的 埃 尔 米 特 转 置 边 ,并 针对 先 验 估计 误差 &,(n)、 后 验 估计 误差 ealn) MEE yaC), 
分 别 利用 式 (9.26)、 式 (9.27) 和 式 (12.44) 的 第 一 行 ,很 容易 证 明 这 一 关系 式 。 式 
(12.47) RHH ,给 定 由 RLS 算法 计算 的 先 验 估计 误差 所 Cn) 后 ,可 将 它 乘 以 加 (nr), i 
定 相 应 的 后 验 估计 误差 值 ee(z)。 因 此 ,可 将 &,(n) 看 做 计算 ec, (n) 的 试验 值 ,而 将 
Yn《n) 看 做 乘法 校 验 ( 因 子 )。 

2) 对 于 自 适应 前 向 线性 预测 


yn(n — 1)= ia (12.48) 
通过 用 un(a - 1) 后 乘 式 (12.23) 的 埃 尔 米 特 转 置 , 然 后 利用 式 (12.21)、 式 (12.22) 、 式 
(12.24) 和 式 (12.44) ,很 容易 证 明 这 一 关系 式 。 式 (12.48) 表 明 ,在 已 知 前 向 先 验 预 测 
误差 加 (za) 的 情况 下 ,我 们 可 将 它 乘 以 延迟 的 估计 误差 y, (n - 1) 来 计算 前 向 后 验 预 
测 误差 f,(n)。 因 此 ,我 们 可 将 加 (za) 看 做 计算 前 向 后 验 预测 误差 六 (nz) 的 试验 值 ,而 
将 7,,(n -1) 看 做 乘法 校 验 ( 因 子 )。 
3) 对 于 自 适 应 后 向 线性 预测 





(12.49) 


通过 用 un (n) JAR (12.34) 的 埃 尔 米 特 转 置 ,然后 利用 式 (12.32) 、 式 (12.33)、 式 
《12.35) 和 式 (12.44) 的 定义 ,很 容易 证 明 这 一 关系 式 。 式 (12.49) 表 明 ,在 已 知 后 向 先 
验 预测 误差 8。(z) 的 情况 下 ,我 们 可 以 将 它 乘 以 估计 误差 y,, (n) 来 计算 后 向 后 验 预 测 
误差 b,(n)。 因 此 ,我 们 可 将 B,, (n) 看 做 计算 后 向 后 验 预 测 误差 b, (nn) 的 试验 值 ,而 
将 (nm) 看 做 乘积 校 验 (因子 )。 

前 面 的 讨论 指出 变量 y, (n) 的 独特 作用 :不 管 是 从 一 般 估计 、 前 向 预测 还 是 后 向 预测 的 
角度 ,y(n) 都 是 先 验 估计 误差 变换 为 后 验 估计 误差 过 程 中 的 公共 因子 (常规 形式 或 者 延迟 形 
式 )。 因 此 ,我 们 可 将 y, (nn) 看 做 变换 因子 。 实 际 上 ,值得 注意 的 是 ,通过 使 用 这 个 变换 因子 ， 
能 够 算出 n 时 刻 的 后 验 误差 6,,(n)、f(n) 和 b(n), 而 这 项 工作 可 在 产生 这 些 误差 的 相关 滤 
波 器 抽 头 权 向 量 实际 计算 之 前 完成 (Carayannis et al. ,1983)。 
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下 面 ,我 们 来 看 输入 数据 的 时 移 特性 ,根据 如 下 分 块 向 量 


| un(n) 
Um+ri(7) P _ | 


可 以 看 出 , m — 1 阶 后 向 线性 预测 器 的 输入 向 量 u, (n) 与 m 阶 后 向 线性 预测 器 的 输入 向 量 
Un (ORAT m - 1 项 完全 相同 。 同 样 地 ,由 如 下 分 块 向 量 
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可 以 看 出 ,m -1 阶 前 向 线性 预测 器 的 输入 向 量 u (nz -1) 和 m 阶 前 向 线性 预测 器 的 输入 向 量 
Un(a) WE m -1 项 完全 相同 。 这 一 观察 结果 使 我 们 想到 了 以 下 问题 : 随 着 陡 测 阶 数 的 增 
加 ,如 从 m ~ 1 BYE m 阶 , 有 没有 可 能 将 前 面 计算 获得 的 结果 传递 给 m -1 预测 阶 ? 

问题 的 答案 是 肯定 的 ,而且 体现 在 人 们 所 知道 的 最 小 二 乘 格 型 预测 器 的 模块 化 结构 中 。 

为 了 导出 这 一 重要 的 滤波 结构 及 其 算法 设计 ,我 们 提出 如 下 着 手 要 做 的 事情 :在 本 节 中 ， 
利用 正 交 性 原则 导出 表征 最 小 二 乘 格 型 预测 器 的 基本 方程 。 然 后 ,在 本 章 的 其 余 各 节 , 在 卡尔 
曼 滤 波 器 理论 的 指导 下 ,导出 设计 最 小 二 乘 格 型 预测 器 的 各 种 算法 。 

为 了 开始 此 项 工作 ,考虑 图 12.7 所 示 的 情况 , 它 涉及 一 对 m - 1 阶 前 后 向 预测 误差 滤波 
器 问题 。 两 个 滤波 器 输入 向 量 均 为 u,, (i)。 由 抽 涉 权 向 量 a,,_,(n) 表 征 的 前 向 预测 误差 滤波 
器 ,在 其 输出 端 产生 fai (i) AIARA cni (nm) 表 征 的 后 向 预测 误差 滤波 器, 在 其 输出 端 
产生 bnili) WARE u(i) 占 据 观 察 区 间 1< i< mn。 我 们 要 讨论 的 问题 可 表述 如 下 : 


定 前 向 预测 误差 f,_1(i) 和 后 向 预测 误差 5,_1(i) ,以 一 种 计算 上 有 效 的 方法 ,分 别 确定 
hoster pom D (ii)。 


u(i) ee > 















后 向 预测 误差 


滤波 器 c_1(n) bm 1) 


图 12.7 设 定 表示 最 小 二 乘 格 型 预测 器 的 级 


我 们 说 的 “有 效 的 计算 "是 指 : 图 中 的 输入 向 量 加 上 过 去 样 值 (i - m) 进 行 扩充 时 ,其 预 
测 阶 数 增加 1, 而 涉及 fa (i 和 51(i) 的 计算 保持 原封 不 动 。 

前 向 预测 误差 A (DH uliuli — 1), ui — m+ 1) 决定 。 阶 数 更 新 的 前 向 预测 误差 
要 求知 道 另 外 的 抽 头 输入 ( 即 过 去 值 ) 4(i - m)。 后 向 预测 误差 bn (站 由 上 ，( 划 所 涉及 的 相同 
抽 头 输入 决定 。 因 此 ,如 果 我 们 将 5。_,(i) 延 迟 一 个 时 间 单 元 ,计算 f, (i) 所 需要 的 其 他 过 去 什 
uli- m) 可 在 延迟 的 后 向 预测 误差 bn G- 1) 的 合成 中 找到 。 于 是 ,如 果 将 5。,(i - 1) 看 做 单 
抽 头 最 小 二 乘 滤波 器 的 输入 ,将 /,, (i) 看 做 期 望 响 应 ,而 将 (i) 看 做 由 最 小 二 乘 估计 法 得 到 的 
残 差 , 则 可 写 出 下 式 [ 见 图 12.8(a)] 

fal = fali) + Kf mn)bmili 1) i= 1,2,. weg 12.50) 

其 中 心 。(m) 为 滤波 器 的 待定 标 度 系数 。 注 意 ,根据 最 小 二 乘法 ,系数 必 。( nee 1 到 
i= "的 整个 观察 区 间 内 保持 不 变 。 对 于 运行 在 平稳 输入 环境 下 的 格 型 滤波 器 , 式 (12.504 鬼 
式 类 似 于 第 3 章 导出 的 相应 阶 数 的 更 新 形式 。 然 而 ,wj () 的 公式 不 同 。 对 于 该 系数 的 确 、 
定 ,我 们 求助 于 表 12.3 总 结 的 线性 最 小 二 乘 估计 三 种 基本 形式 的 正 交 性 原则 。 mea 






di 
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则 ,响应 输入 bni C- 1) 的 线性 最 小 二 乘 滤波 器 所 产生 的 估计 误差 正 交 于 整个 感 兴趣 观察 区 
间 内 的 每 一 个 输入 (在 时 间 平 均 的 意义 上 )。 因 此 ,将 这 个 原理 应 用 于 输入 baili- 1) 和 式 


(12.50) 给 出 的 线性 前 向 预测 问题 的 残 差 fa (i) ,可 得 
D A bmili — 1)f*(i)= 0 (12.51) 
将 式 (12.50) 代 人 式 (12.51) ,可 求 出 
ZN bm 一 1)fh-i) 
krn(m = 一 和 一 一 一 一 一 一 (12.52) 
D Aibmi- LF 
i=1 


式 中 的 分 母 为 m-1 阶 后 向 预测 误差 加 权 平 方 和 ， Ep 
Bm—(n — 1) = Sn (i)? 
n (12.53) 
= DA" lom- - 1)? 
在 上 式 最 后 一 行 中 ,我们 已 经 用 ane 


它 是 依靠 输入 数据 预 amaaan 对 式 (12.52) 的 分 子 ， 我 们 引入 前 后 向 预测 误差 之 间 的 指数 
加 权 互 相关 定义 


An(n) = TA On al - 1)f8-4(3) (12.54) 
将 式 (12.53) 和 式 (12.54) 的 定义 用 于 式 (12.52) ,可 得 标 度 系数 的 紧凑 形式 
_ _ Am-1(1) 
Kp, m(7) = Biln _ 1) (12.55) 


1) 


bm id = 






Fm) 


In 





(a) 前 向 预测 (b) 后 向 预测 (c) 联合 过 程 估计 
图 12.8 单 系数 线性 组 合 器 
下 面 考虑 阶 更 新 后 向 预测 误差 ba (i) 的 计算 问题 。 如 前 ,我 们 仍然 采用 前 向 预测 误差 


所 -1( 记 和 延迟 后 向 预测 误差 bn CG - 1), 只 是 现在 其 滤波 作用 互 换 。 具 体 而 言 ,我 们 有 一 个 
单 抽 头 最 小 二 乘 滤 波 器 , 它 以 fa- ERIA, BA bi 1) 作为 期 望 响 应 ,以 bn Ci) (EWE 
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波 过 程 的 残 差 。 也 就 是 说 ,我 们 可 以 写 出 [ 见 图 12.8(b)] 

bnli) = bmili = 1) + rmn)faili) i=1,2,...,n (12.56) 
其 中 wi,(n) 为 滤波 器 待定 的 标 度 系数 。 这 里 ,再 一 次 根据 最 小 二 乘法 ,系数 crn (n TEM 
i=1 到 i=n 的 整个 观察 区 间 内 保持 不 变 。 对 于 运行 在 平稳 输入 环境 下 的 格 型 滤波 器 , 式 
(12.56) 的 形式 也 类 似 于 第 3 章 导出 的 相应 阶 数 的 更 新 形式 。 然 而 , cx。(m) 的 公式 不 同 。 特 
别 地 ,通过 将 正 交 性 原则 应 用 于 输入 fai (六 与 式 (12.56) 给 出 的 后 向 预测 问题 的 残 差 来 确定 
Konno 于 是 ,可 写 出 


n 


YA fn (DbE(i) = 0 (12.57) 


i=1 


HER (12.56) FRA ZK (12.57) , fF ks, n (n) 
fins) bali = 1) 








Kb m(n) = x (12.58) 
DA fna (DÉ 
式 中 的 分 子 为 式 (12.54) 所 定义 的 Ani (MORERA EON m -1 阶 前 向 预测 误差 加 权 平 方 和 , 即 
Fi(n) = Sx OP (12.59) 
因此 ,可 将 式 (12.58) 重 新 写成 下 列 紧凑 形式 
Kpm(n) = 一 (12.60) 


式 (12.50) 和 式 (12.56) 所 述 的 结果 对 最 小 二 乘 格 型 预测 器 来 说 是 基本 的 表达 式 。 为 了 对 
它们 进行 物理 解释 ,定义 如 下 n x 1 预测 误差 向 量 
fm) = [fa(1), fa(2),..., fa(n)] 
bln) = [bn(1), ba(2),..., brn)? 
和 
b(n — 1) = [0,5o(0) -baln -DF 
其 中 预测 阶 数 m = 0,1,2,…,M。 然 后 ,在 式 (12.30) 和 式 (12.56) 的 基础 上 ,对 投影 理论 有 关 术 
语 做 如 下 表述 : 
1) 将 向 量 b,_i1(n -1) 投 影 到 fi (nm) 的 结果 用 残 差 向 量 f (mn) 表 示 ; 前 向 反射 系数 
Kj,n(n) 是 做 这 个 投影 所 需要 的 参数 。 
2) REE fni (nA bna (n 一 1) 的 结果 用 残 差 向 量 b,, (nn) 表示; 后 向 反射 系数 kc, (n) 
是 做 这 个 投影 所 需要 的 参数 。 
在 结束 这 部 分 讨论 之 前 ,我们 计算 观测 结束 时 刻 i = n 的 式 (12.50) 和 式 (12.56)。 于 是 ， 
得 到 一 对 相互 有 关 的 阶 更 新 递归 关系 式 
Fn(®) = fn-i(n) + rf nln)bn-i(n — 1) (12.61) 
和 和 
baln) = bn-i(n — 1) + rkm(n)fni(n) (12.62) 
其 中 m=1,2,…,MM, 而 M 为 最 终 预测 阶 数 。 当 m =0 时 ,对 输入 数据 不 进行 预测 ,这 对 应 于 
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下 述 初 始 条 件 
foln) = bo(n) = u(n) (12.63) 
其 中 u(n)A n 时 刻 的 输入 数据 。 这 样 , 当 我 们 从 零 一 直到 最 终 值 M 改变 预测 阶 数 时 ,得 到 
如 图 12.9 所 示 的 M 阶 最 小 二 乘 格 型 预测 器 。 此 处 ,最 小 二 乘 格 型 预测 器 的 一 个 重要 特征 是 
它 的 模块 化 的 结构 ,这 表明 其 计算 复杂 度 随 预测 阶 数 呈 线性 变化 。 

第 1 级 第 M 级 


fo(n) fi) fu) fuln) 









bo(r) b(n) bya) l by(n) 


Æ 12.9 M 级 格 型 滤波 器 


12.6.1 列 文 森 - 杜 宾 递归 最 小 二 乘 格 型 形式 


前 向 预测 误差 f, (n) 和 后 向 预测 误差 5, (nn) 分 别 由 式 (12.27) 和 式 (12.38) 定 义 , 当 i =n 
时 重 写 为 
faln) = aknan (7) 
和 
bn(n) = ch(n)an+ri(n) 
其 中 an(n) F co(n) 分 别 为 相应 的 前 向 和 后 向 预测 误差 滤波 器 的 抽 头 权 向 量 。 与 低 阶 预测 误 
差 有 关 的 前 向 预测 误差 上 六 ,(n) 和 延迟 后 向 预测 误差 5,_1(n 1) 定义 如 下 


fm-1(n) = am_i(n) unm(n) 
= eel u,,(71) 
0 u(n — m) 


= hare icc 


7 [0 - »} [a 1) 
| 


0 H 
Cm-i(n _ 5 | Un+1(7) 
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刚才 定义 的 四 种 预测 误差 具有 相同 的 输入 向 量 , 即 u,, (n)。 因 此 ,将 其 定义 式 代 入 式 
(12.61) 和 式 (12.62) 并 比较 结 ian RAAR KE 对 阶 更 新 表达 式 


can(n) = | 。 0 | + Kp, nin eu | (12.65) 
其 中 m=1,2,…,M。 式 (12.64) 和 式 (12.65) 可 以 看 做 第 3 章 讨论 的 列 文 森 - 杜 宾 (Levinson- 


Durbin) SILAGE ATER. 根据 定义 ,我 们 注意 到 ,c,,_1(n - 1) 的 最 后 一 个 元 素 和 an(n) 
的 第 一 个 元 素 都 为 1。 从 式 (12.64) 和 式 (12.65) ,容易 看 出 
Kfm N) = Gn m(n) (12.66) 


All 


和 

Kb,m(n) = Cm.o( 17) (12.67) 
其 中 on(m) 为 向 量 au(n) 的 最 后 一 个 元 素 , co(n) 为 向 量 6,,(n) 的 第 一 个 元 素 。 因 此 ,在 平 
稳 环 境 下 ,情况 并 不 像 第 3 章 所 描述 的 。 人 们 通常 发 现 ,在 最 小 二 乘 格 型 预测 器 中 ,有 

Kpm(t) # Kb m(n) 
在 任何 情况 下 , 式 (12.64) 和 式 (12.65) 的 阶 数 更 新 揭示 了 M DYN FR RE Uae ST 
要 性 质 : 在 含蓄 的 意义 上 ,这 样 一 种 预测 器 隐 含 阶 数 为 1,2,……,W 的 前 向 预测 误差 滤波 器 链 和 
后 向 预测 误差 滤波 器 链 ,它们 都 具有 模块 化 结构 ,如 图 12.9 所 示 。 


12.6.2 An-i(m) 的 时 间 更 新 递归 


从 式 (12.553) 和 式 (12.60) 可 以 看 出 ,最 小 二 乘 格 型 预测 器 的 反射 系数 ern (n) 和 x, (n) 
由 A, (n) nm-1《n) 和 Bm-1(n ~ 了) 三 个 量 惟一 确定 。 式 (12.31) 和 式 (12.42) 担 供 了 后 两 个 量 
的 时 间 更 新 方法 。 为 了 递归 计算 这 两 个 反射 系数 ,需要 有 相应 的 计算 Ani (nm) 的 时 间 更 新 递 
归 关 系 式 。 
为 着 手 推 导 剩 下 的 另 一 个 递归 关系 式 ,我 们 回忆 第 12.3 节 中 关于 前 向 线性 预测 的 下 面 两 
个 公式 ( 式 中 用 m -1 代替 了 m) 
fali) = uli) — Wn-i(n)um (i — 1) i=1,2,...,n 
和 
Kimala) = Wr mala 一 1) + kaala — 1)n% 1(n) 
将 以 上 两 式 代 入 式 (12.54) ,整理 后 得 


Am-1(n) = $ alut) = Wh — Tami — 1 bmili- 1) 


— nm1(n)kE,_{(n 一 D) Daag — 1)bp—(i — 1) 
这 个 式 子 化 简 如 下 : 
o 利用 后 向 线性 预 质 测 的 正 交 性 原则 ， 等 式 右边 第 二 项 为 零 , 即 
Safty (i — 1)b4(i — 1) = 0 


i=l] 
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[ ILIR (12.40) ]o 
e@ 根据 定义 ,等 式 右边 方 括号 中 的 第 一 项 为 前 向 先 验 预测 误差 
Nn) = uli) 一 页 (一 lu 一 1 i=1,2,...,” 
[ 见 式 (12.22)]。 
因此 ,我 们 可 简单 地 将 A,,_1,(n) 重 新 定义 为 
Am-i(n) = par ah 1(i)bm-1(i 7 1) (12.68) 


下 面 , 我 们 将 从 和 式 中 分 离 相应 于 i= n WD a-i (n)b, (az-1) ,于 是 写 出 
n—l 


Am) = DA hia Dbm 1) + mtn)bnitn ~ 1) 


i= 


= -aSa I= ~in Nn- (i)bm- i(i ~ 1) + Nn 1(2)B y(n = 1) - 


这 个 式 子 右 边 的 和 式 可 以 看 做 A,_1(n -1) 的 过 去 值 。 因 此 ,我 们 可 最 终 写 出 

Am-1(n) = AAn-ia — 1) + mm-i(n)bn-i(n — 1) (12.69) 
它 就 是 我 们 所 期 望 的 递归 方程 。 注 意 ,这 个 方程 类 似 于 3m(n) 的 式 (12.31) 和 Bm(n) 的 (12.69) 
式 (12.42) ,因为 这 三 个 更 新 式 中 的 修正 项 都 涉及 后 验 预 测 误差 与 先 验 预测 误差 的 乘积 。 


12.6.3 最 小 二 乘 格 型 预测 器 的 精确 解 耦 性 质 


m 级 最 小 二 乘 格 型 预测 器 的 另 一 个 重要 性 质 是 :从 时 间 平 均 意义 上 讲 , 预 测 器 各 级 产生 
的 后 向 预测 误差 b(n) ,b(n),…,b。(n) 在 所 有 时 刻 都 不 相关 (相互 正 交 )。 换 名 话说 ,最 小 
二 科 格 型 预测 器 可 以 将 一 个 相关 输入 序列 ju(n),u(n 一 1),…,u(u — m) | 变换 为 一 个 新 的 不 
相关 的 后 向 预测 误差 序列 
{u(n),u(n — 1),... u(n — m)} == {bo(n), b(n),..., bn(n)} (12.70) 
这 里 示 出 的 变换 是 互 易 的 , 即 最 小 二 乘 格 型 预测 器 保留 了 输入 数据 的 全 部 信息 。 
现在 ,考虑 m 阶 后 向 预测 误差 滤波 器 。 令 滤波 器 的 (m + 1) x 1 抽 头 权 向 量 在 整个 时 间 区 
间 i<ci<n 内 进行 最 小 二 乘 意义 上 的 最 优化 ,并 用 c,,(n) 表 示 ,其 展开 形式 为 
cnn) = [cmm A) Emmin) 1] 
S 5,(i) 表 示 在 滤波 器 输出 端 产生 的 与 (m + 1) xl 向 量 m, (对 应 的 后 向 后 验 预 测 误差 ,其 
展开 形式 为 
um) = [uG uli- 1), ulim] i>m 
这 样 ,我 们 可 以 将 误差 b, (i) RAH 
bn(i) = Cm(n)umri(i) 


<i< 12. 
- Šo K(njuli 一 m + k) rot? (12.71) 


> 


pa 一 [aa ba ee gS 
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为 (m+1) x1 后 向 后 验 预 测 误差 向 量 。 将 式 (12.71) 代 入 该 向 量 ,可 将 输入 数据 变换 为 对 应 的 
后 向 后 验 预 测 误差 , 且 该 变换 关系 可 表示 为 
bali) = L,(n)uri(i) (12.72) 
其 中 (m +1) x (m+ DW SRE 


* 1 -0 
Lp(a) =| EMMI o os a (12.73) 
Chm(n) Cam- 7 1 


ITP = ATE ee EE, I S L。(n) 中 的 下 标 m 表示 和 矩阵 组 成 中 所 涉及 的 后 向 预测 误差 
滤波 器 的 最 高 阶 。 我 们 还 要 注意 以 下 几 点 : 


© 矩阵 L,(n) 中 行 1 的 非 零 元 素 用 1 — 1 阶 后 向 预测 误差 滤波 器 的 抽 头 权 值 定义 。 
© 矩阵 L,(n) 中 对 角 线 上 的 元 素 等 于 1, 这 是 因为 每 一 个 后 向 预测 误差 滤波 器 的 最 后 抽 
头 权 值 为 1。 
© SERE L,(n) 的 行列 式 对 所 有 m 都 等 于 1, 因此 逆 矩 阵 :Cn) 存 在 , 式 (12.70) 中 的 互 易 
性 得 以 证 实 。 
根据 定义 ,不 同 阶 数 (k 和 m) 的 后 向 预测 误差 的 相关 系数 由 指数 加 权 的 时 间 平 均 给 出 为 
Semin) = E ab (i) bE() 


n 


= Sar tel nya(i)b5(i) (12.74) 


= efn) $ AibA) 


其 中 ex(n) 为 大 阶 后 向 预测 误差 滤波 器 的 抽 头 权 向 量 , 它 用 来 产生 误差 部 (m)。 不 失 一 般 性 ， 
可 假设 m > k。 如 注意 到 输入 权 向 量 u, (z) 包 含 在 用 误差 如 (nm) 表 示 并 用 最 小 二 乘法 优化 的 
后 向 预测 产生 之 中 , 则 根据 正 交 性 原则 容易 推断 : 当 m > k 时 ,相关 系数 OL (WAS. RAG 
说 ,从 时 间 平 均 的 意义 上 , 当 m 关 时 ,后 向 预测 误差 b(n) 和 加 (nm) 彼 此 不 相关 。 

这 一 重要 性 质 使 得 最 小 二 乘 估 计 格 型 滤波 器 成 为 精确 最 小 二 乘 联 合 过 程 估 计 的 理想 设 
备 。 具 体 而 言 , 我 们 可 用 图 12.9 所 示 的 格 型 结构 产生 的 后 向 预测 误差 序列 ,以 图 12.10 的 阶 
递归 方式 完成 期 望 响应 的 最 小 二 乘 估 计 。 特 别 地 ,对 于 m 阶 (级 ) ,我 们 有 

Cm(2) = Cm—i(n) 一 hn-in)bn-i(n) m=1,2...,M+1 (12.75) 


该 联合 过 程 估计 的 初始 条 件 为 


一 


e(n) = d(n) (12.76) 

参数 h(n)(m =1,2,… ,M+1) 称 为 联合 过 程 估计 系数 或 回归 系数 。 于 是 ,期 望 响 应 d(n) 
的 最 小 二 乘 估计 可 与 线性 预测 过 程 联合 并 一 级 一 级 地 进行 。 

式 (12.75) 可 看 做 图 12.8(c) 所 示 的 单 阶 线性 组 合 器 。 该 处 ,对 于 估计 变量 ,故意 用 i 代替 

,以 便 与 图 中 的 (a) 和 和 (b) 两 部 分 相 一 致 。 这 里 需要 注意 的 是 ,对 所 有 1< i<n,b,_i(i) 可 看 
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做 输入 ,而 e。_1( 门 可 看 做 期 望 响应 。 
图 12.9 的 多 级 格 型 预测 器 的 后 向 预测 误差 


b(n) 5, (7) see by) byl) 





em(n) yi) 


图 12.10 采用 后 向 预测 误差 序列 的 最 小 二 乘 估计 


12.7 角度 归 一 化 估计 误差 


上 一 节 讲 述 的 最 小 二 乘 格 型 预测 器 公式 是 基于 前 向 后 验 预 测 误差 f,(n) 和 后 向 后 验 预测 
误差 如 (n) 的 。 式 (12.61) 和 式 (12.62) 中 的 阶 递归 关系 依据 前 向 反射 系数 的 当前 值 cc (n) 
和 后 向 反射 系数 con(m) 的 当前 值 来 定义 。 我 们 可 同样 满意 地 依据 前 向 先 验 预 测 误差 yn (n) 
和 后 向 先 验 预 测 误差 ba (nn) 表 示 最 小 二 乘 格 型 预测 器 。 在 后 一 种 情况 下 , 可 根据 前 向 反射 系 
数 的 过 去 值 wj,(n -1) 和 后 向 反射 系数 的 过 去 值 x;,, (n -1) 定 义 如 下 阶 递 归 关 系 

NaCN) = Nm) + KF nln — 1)Bn-i(n — 1) (12.77) 
Br(n) = Bmala — 1) + Ke mln — 1)nm-1(n) (12.78) 

从 发 展 的 观点 看 ,如 果 能 以 一 种 对 选择 后 验 或 先 验 预测 误差 具有 不 变性 的 方式 来 表示 最 
小 二 乘 预 测 器 问题 ,这 将 是 很 理想 的 。 我 们 通过 引信 角度 归 一 化 估计 误差 (angle-nonmalized 
estimation error) 概 念 来 达到 这 个 目标 。 在 这 一 点 上 ,考虑 到 三 种 不 同形 式 的 估计 ,我 们 引入 如 
下 一 组 m 阶 最 小 二 乘 格 型 预测 器 的 角度 归 一 化 估计 误差 : 


o 角度 归 一 化 前 向 预测 误差 ,定义 为 
sa = yn man) = 2 (12.79) 


yue(n — 1) 
其 中 y(n -1) 为 变换 因子 的 过 去 值 。 
@ 角度 归 一 化 后 向 预测 误差 ,定义 为 








bn(n) 
ennn) = WP)Bnln) = ren) (12.80) 
其 中 (mn ) 为 变换 因子 的 当前 值 。 
© 角度 归 一 化 联合 过 程 估计 误差 ,定义 为 
eml) = Vna) = 22) (12.81) 


y(n) 
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其 中 en (A &,,(n) 分 别 为 联合 过 程 估计 误差 的 后 验 值 和 先 验 值 。 


因此 ,我 们 可 将 图 12.8 中 的 前 向 预测 、 后 向 预测 和 联合 过 程 估计 三 种 单 系数 线性 组 合 器 
写成 图 12.11 所 示 的 角度 归 一 化 变形 。 


Ep m iG ~ 1) 





Ef m1) 





Ef mli) gpm-1(i — D) ©) gp mÒ Em-1(Ù) 


(a) .前 向 预测 (>) 后 向 预测 c) 联合 过 程 估计 
图 12.11 单 系数 线性 组 合 器 的 角度 归 一 化 形式 


使 用 “角度 ”一 词 是 因为 变换 因子 作为 一 个 角 的 余弦 (其 细节 见 第 12.5 节 )。 不 论 什么 情 
况 下 ,这 里 要 注意 的 重要 一 点 是 ,在 基于 角度 归 一 化 估计 误差 的 最 小 二 乘 格 型 滤波 算法 中 ,我 
们 不 再 需要 区 分 不 同 估计 误差 的 后 验 形式 和 先 验 形式 ,该 方法 的 通用 性 很 强 。 


12.8 格 型 滤波 的 一 阶 状态 空间 模型 


利用 第 12.3 $ ~ 第 12.7 节 介 绍 的 背景 材料 ,现在 我 们 着 手 推 导 基于 最 小 二 乘 估计 的 阶 递归 
自 适应 滤波 器 算法 。 这 里 采用 的 方法 建立 在 RLS 变量 和 卡尔 曼 变 量 一 一 对 应 关系 的 基础 上 。 显 
然 ,为 了 进行 这 个 推导 ,需要 建立 基于 格 型 结构 及 其 联合 过 程 估 计 的 最 小 二 乘 预 测 的 状态 空间 表 
示 。 根 据 前 一 节 说 明 的 原因 ,我 们 希望 依照 角度 归 一 化 估计 误差 建立 状态 空间 模型 。 
然后 ,考虑 下 面 三 种 m-1 阶 角 度 归 一 化 预测 误差 的 n x 1 向 量 
ef.m-1(1) 
exam = | Pmt) | 
Ep, m—1(1) 
0 


Ep, m-1(1) 


Ep, m—1(n 一 1) = (12.82) 


Eb m-1(7 = 1) 
€m-1(1) 


enitn) = | emi?) 





€m-1 (11) 


为 了 初始 化 最 小 二 乘 格 型 预测 器 ,典型 地 取 
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Fm-1(0) = Bm-i(-1) = 6 
和 
Am-1(0) = 0 
调节 参数 6 通常 取 足 够 小 , 以 便 能 忽略 n ERE m-i (n) MBn-1(n — 1A. Al, By 
分 别 从 式 (12.30) ` 式 (12.41) 和 式 (12.54) 得 出 如 下 结论 : 
1) 前 向 预测 误差 的 加 权 和 8。- Cn) EEA 的 角度 归 一 化 向 量 8/.,_1(n) 指 数 加 权 平 方 . 
范 数 , 即 . 
Fna) = Ef nA(n)ey mi(n) (12.83) 
其 中 
A(n) = diag[A"1,a"-?,..., 1] 
是 n x n 指数 加 权 和 矩阵 。 
2) 后 向 预测 误差 的 加 权 和 名。1:(z - 1) 等 于 对 应 的 角度 归 一 化 向 量 Eni Cn - 1) 指数 加 
权 平 方 范 数 , 即 
Brn-iln — 1) = ef in — 1)A(n — 1)Eb mi(n— 1) (12.84) 
3) 参数 A;_1(n) 表 示 指 数 加 权 互 相关 系数 , 它 等 于 角度 归 一 化 向 量 ,1(n - 1) 与 
grn_i(n) 指 数 加 权 的 内 积 , 即 
Ahlan) = Ef m-n — 1)A(n)esm-i(n) (12.85) 
这 些 表 明 , SF BSE He AT a) I AB 
* _ Am-1(n) 
Sim) =~ Bn — 1) 





亦 可 写 为 
epm-i(n 一 1)A(n)es mi(n) 
Ký m(n) = ef,(n ~ Aln = Da in = 1) (12.86) 

换 句 话说 , 标 度 系数 cr (nz) 可 以 看 做 将 se。 (n - 41) 投影 到 8 ,1,(n) 上 所 需要 的 系数 。 这 
也 暗示 着 ,将 后 验 预测 向 量 bni Cn - 1) 投 影 到 后 验 预 测 向 量 f,_,(n) 的 问题 ,可 用 将 角度 归 一 
化 预测 向 量 8 .1(n 1) 投影 到 角度 归 一 化 预测 向 量 sg。:(n) 的 等 效 问题 来 代替 。 对 于 将 
fni (BEE bni (n -1) 的 问题 以 及 联合 过 程 估计 问题 ,我 们 也 可 以 得 出 类 似 的 结论 。 

因此 ,参考 图 12.11 所 示 的 三 种 信号 流 图 ,我 们 可 以 得 出 最 小 二 乘 格 型 滤波 问题 的 三 种 mm 
级 一 阶 状态 空间 模型 , 它 基 于 如 下 三 个 投影 : 

© 对 于 前 向 线性 预测 ,将 ge, 。,(m- 1) 投 影 到 sr 。i(n)。 

o 对 于 后 向 线性 预测 ,将 ar 1(n) 投 影 到 8,,,_1(n -1)。 

o 对 于 联合 处 理 线性 估计 ,将 8,,,_1(n) 投 影 到 s。:(nm)。 


于 是 ,考虑 到 第 10 章 建 立 的 卡尔 曼 变量 与 RLS 变量 之 间 的 一 一 对 应 关系 ,我 们 可 将 最 小 
二 乘 格 型 滤波 器 的 m 级 状态 空间 表征 分 为 以 下 三 个 部 分 : 


1) 前 向 预测 :这 时 








x(n + 1) = x(n) (12.87) 
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和 
y(n) = &% m—i(n — 1)xi(n) + vi(n) (12.88) 
其 中 x(n) 为 状态 变量 ,参考 信号 (观测 ) 为 
y(n) = A"? et mln) (12.89) 


标量 测量 噪声 y (m) 是 一 个 均值 为 零 方差 为 1 的 随机 变量 。 
2) 后 向 预测 :这 时 


x(n +1) =A x(n) (12.90) 
和 
y(n) = ef m—1(n)x2(n) + n(n) (12.91) 
其 中 x,(n) 为 第 二 个 状态 变量 ,而 第 二 个 参考 信号 (观测 ) 为 
y(n) = A ek mln) (12.92) 


与 (za) 相 同 RS y,(n) 也 是 一 个 均值 为 零 方差 为 1 的 随机 变量 。 
3) 联合 过 程 估计 :这 时 


x(n + 1) = a(n) (12.93) 
和 
P(n) = €6 m1 (1) X3(") + n(n) (12.94) 
其 中 x3(n) 为 第 三 个 即 最 后 一 个 状态 变量 ,而 相应 的 参考 信号 (观测 ) 为 
y(n) = A"? ex 1(n) (12.95) 


如 前 ,标量 测量 噪声 (mn) 是 一 个 均值 为 零 方差 为 1 的 随机 变量 。 噪 声 变量 ，(m)、 
2 (n) A y(n) 相互 独立 。 


在 前 述 状 态 空间 模型 的 基础 上 , 表 12.4 列 出 假设 预测 阶 数 为 m - 1 时 卡尔 曼 变 量 与 三 
最 小 二 乘 格 型 (LSL) 变 量 之 间 的 一 一 对 应 关系 。 三 组 LSL SER Hv ex BO MENLO 
合 过 程 估计 。 
R124 m 级 格 型 预测 器 中 卡尔 曼 变量 与 角度 归 一 化 LSL 变量 之 间 的 一 一 对 应 关系 


LSL 变量 /参数 
卡尔 曼 变量 前 向 预测 后 向 预测 联合 过 程 估计 
y(n) Aref m(n) nek m(n — 1) ek (n) 
u(n) sbm-1(n — 1) ef malt) ebm-1(7) 
&(n|%,_1) -A kj mn — 1) 一 A ty mn — 1) nr, s(n — 1) 
K(n — 1) AB s(n — 2) ANF a(n — 1) A Be (a — 1) 
g(n) AVERT Ts 一 DT) NR (ny erm) A RL Ct) ep, m in) 
Ym-i(n — 1) ym-i(n — 1) ym-1(n) 

r(m) Ym — 1) yn Yal) 

表 中 的 前 三 行 很 容易 从 式 (12.87) ~ 式 (12.95) 的 状态 空间 模型 以 及 第 10 章 的 表 10.3 所 


列 出 的 卡尔 曼 变 量 与 RLS 变量 的 一 一 对 应 关系 得 出 。 为 了 证 实 其 他 三 行 的 对 应 关系 ,我 们 以 
前 向 线性 预测 情况 为 例 ,讨论 如 下 : 
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1) 从 第 10 章 的 表 10.3 我 们 知道 ,卡尔 曼 滤 波 器 理论 中 滤波 状态 误差 的 相关 和 矩阵 与 RLS 
理论 中 输入 向 量 相关 和 矩阵 闭 和 矩阵 的 对 应 关系 为 
K(n — 1) © AP — 1) = 和 Gan — 1) 
(此 后 ,双向 箭头 表示 一 一 对 应 关系 。) 对 于 图 12.11(a) 所 示 现 有 问题 ,我 们 看 到 加 到 前 
向 反射 系数 的 输入 经 单位 延迟 后 为 sw-i(-1)。 对 于 mm -1 阶 前 向 预测 ,我 们 有 


n-2 -i 
K(n- 1) af DA les, mili — 2)F ) = 和 多 (n — 2) (12.96) 
i=1 


2) 由 第 10 章 的 表 10.3, 我 们 同样 可 以 得 到 下 面 卡尔 曼 滤波 器 理论 中 卡尔 曼 增益 向 量 与 
RLS 理论 中 增益 向 量 的 一 一 对 应 关系 
g(n) > AMk(n) 
对 于 om — 1 阶 前 向 预测 问题 ,采用 将 第 9 章 式 (9.22) 中 增益 向 量 k(n) 的 定义 ,可 以 写 
出 
gn) > APB a(n — 1)epm-i(n — 1) (12.97) 
3) 至 此 ,由 式 (12.96) 和 式 (12.97) 所 定义 的 各 项 推导 已 经 相当 简明 易 懂 。 然 而 ,对 表 12.3 
中 的 最 后 一 项 ,我 们 需要 做 更 加 细致 的 考虑 。 从 第 10.8 节 可 知 ,卡尔 曼 滤 波 器 理论 中 
变换 因子 y-'(n) 的 值 等 于 后 验 估计 误差 e(n) 与 先 验 估计 误差 a() 的 比值 。 相 比 之 
下 ,图 12.11 中 角度 归 一 化 单 系数 模型 则 无 法 区 分 先 验 与 后 验 估计 误差 。 为 了 克服 这 
一 困难 ,我 们 进行 如 下 工作 :首先 ,将 先 验 估计 误差 或 卡尔 曼 滤 波 器 理论 中 的 所 谓 “ 新 
息 " 定 义 为 
a(n) = y(n) — u” (n)x(n|%,-1) (12.98) 
根据 表 12.4 中 的 前 三 行 ,我 们 有 如 下 前 向 预测 的 一 一 对 应 关系 
y(n) <> A" e m(n) 
u(n) © ef m—i(n — 1) 
(n| Yn) < A" kj mn 人 (天 一 1) 
因此 ,将 上 面 的 对 应 关系 代入 式 (12.98) 的 右边 ,我 们 得 到 
a(n) <> Aef a(n) + Kp mn — Le mln — 1)) 
其 次 ,利用 式 (12.79) 和 式 (12.80) ,可 以 等 效 地 写 出 
a(n) <> Ay? Cn — 1)(nm-(n) + Kimla — 1)Bm-1(2 — 1) 


于 是 ,利用 式 (12.77) ,对 于 m — 1 阶 前 向 预测 ,我 们 得 出 如 下 结果 


a(n) <> 和 ATW2712 (n 一 1)nk(n) (12.99) 
下 面 ,将 卡尔 曼 滤波 器 理论 中 的 滤波 估计 误差 定义 为 

e(n) = y(n) — u” (n)à(n| Yn) (12.100) 
其 中 ,滤波 状态 估计 自身 定义 为 


&(n|%,) = F(n,n + 1)&(n + 1)|%,) 
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对 于 现 有 问题 ,变换 矩阵 为 [ 见 式 (10.89)] 

F(n + 1,n) = a1? 
而 根据 支配 该 转移 矩阵 的 求 逆 原 则 ,有 

F(n,n + 1) = à 
因此 ,从 表 12.4 中 的 第 三 行 

k(n 十 19) > Atk mln) 
如 所 期 望 的 ,可 得 出 
R(n Yn) <> —A ky, mln) 
因此 ,对 于 前 向 线性 预测 ,利用 式 (12.100) ,可 以 写 出 
eln) <> A" (ef a(n) + Ky mn)ek mi(n — 1)) 
再 一 次 利用 式 (12.79) 和 式 (12.80) 的 关系 ,可 以 等 效 地 写 出 
e(n) © A yn — 1)(fh-i(n) + pm nb ln — 1)) 


这 样 ,根据 式 (12.61) ,对 m — 1 阶 前 向 预测 ,我 们 得 出 


eln) A yn — 1)f8(n) (12.101) 
最 后 ,利用 式 (12.99) 和 式 (12.101) X} m -1 阶 前 向 预测 ,可 写 出 如 下 一 一 对 应 关系 
rn) o YD (12.102) 
Yn(n 7 1) 


于 是 ,对 于 表 12.4 中 列 出 的 前 后 向 预测 误差 , 式 (12.96)、 式 (12.97) 和 式 (12.102) 提 供 了 卡尔 
曼 变 量 和 LSL 变量 后 三 行 变 量 之 间 的 一 一 对 应 关系 。 通 过 采用 类 似 的 方法 ,可 以 得 出 剩 下 的 
后 向 预测 和 联合 过 程 估 计 的 对 应 关系 (我 们 将 它 作为 练习 留 给 读者 ,见习 题 12)。 


12.9 基于 QR 分 解 的 最 小 二 乘 格 型 滤波 器 


在 给 出 第 12.8 节 描 述 的 最 小 二 乘 格 型 滤波 和 第 11 章 导出 的 平方 根 信息 (卡尔 曼 ) 滤 波 器 
的 状态 空间 模型 后 ,最 后 我 们 推导 首要 的 阶 递 归 自 适应 滤波 器 。 对 滤波 器 阵列 及 其 扩展 的 讲 
述 将 分 三 部 分 进行 ,依次 论 及 自 适应 前 向 预测 、 自 适应 后 向 预测 和 自 适应 联合 过 程 估计。 本 节 
采用 的 基本 工具 为 前 、 后 阵列 变换 , 它 定 义 了 式 (11.38) 的 平方 根 信息 滤波 器 。 为 了 表示 方便 ， 
这 里 再 次 将 其 重 写 出 


MOKA — 1) A u(n) 
(n| Ya) Kn- 1) y*n) |@(n) 
07 1 


K /2(n 0 
= | 人 (2 + 1|Y)K (n) r'?(n)a*(n) 
Au” (n)K/?(n) r'(n) 


其 中 @(n) 为 酉 旋转 ,用 来 消除 前 阵列 第 二 列 中 的 第 一 个 分 块 项 Mu(n)。 


(12.103) 


454 自 适 应 滤波 器 原理 


12.9.1 自 适 应 前 向 预测 阵列 


为 了 使 式 (12.103) 适 合 状态 空间 方程 (12.87) ~ 方程 (12.89) 所 描述 的 前 向 预测 模型 ,借助 
于 表 12.4 列 出 的 卡尔 曼 变量 与 LSL 变量 的 一 一 对 应 关系 (对 于 前 向 预测 ) ,我 们 可 以 写 出 m 
阶 最 小 二 乘 格 型 预测 器 的 如 下 阵列 方程 


ABY = 2) epmi(n ~ 1) 
A Dt a(n — 1) Ep m—1(1) Ob m—-1(n — 1) 


0 y(n -1) 
BY (n — 1) 0 (12.104) 
= pi.m-1(n) Ef, m(n ) 


bai(n — 1 Bea (n — 1) yain- 1) 
然而 注意 到 ,在 式 (12.104) 的 书写 中 ,我 们 做 了 两 件 事 :首先 ,从 前 、 后 阵列 的 第 一 行 和 第 二 行 
中 分 别 删除 了 公共 因子 *“ 和 4 ”; 其 次 ,在 第 三 行 ,我 们 用 Vail- 1) 乘 以 前 ` 后 阵列 。 这 
么 做 的 目的 是 为 了 简化 变换 的 乘积 。 
后 向 阵列 中 出 现 的 标量 吻 。: (nz F pemi Ce) PAN FE SCT FF: 


1) 实 值 量 


n—1 
Rn_i(n — 1) = DA esmi — lef mi(i— 1) (12.105) 
= ABm- 1(n 2) + Ep,m— 1(n 1)sy m- (n ~ 1) 
为 零 延迟 后 的 角度 归 一 化 后 向 预测 误差 esmi (ne — 1) BS APB. Bm-1 Cn 一 1) 也 可 
以 理解 为 后 向 后 验 预 测 误差 加 权 平 方 和 的 最 小 值 。 按 照 RLS 理论 ,可 定义 如 下 [ 见 式 
(12.42) ] 
Bin 1H 7 1) = ABm—1(n 7 2) + Bm_i(n 1)b*_i(n 1) 
注意 ,乘积 项 B,_1(n -1)b;.1(n 一 1) 总 是 实数 , 即 
Bm-iln = 1)bm-1(n — 1) = Baln — 1)bn-i(n — 1) 
2) 除了 因子 a(n -1) 外 , 复 值 量 
Am_1(n) 


m1 
Pr BU? (n — 1) 


(12.106) 


其 中 
Am~n) = pan fb m- (į 一 1)ež m- 1(é) 


一 AAA ti(7 — 1) + epm-itn — L)ef mi(n) 
为 角度 归 一 化 前 向 和 后 向 预测 误差 的 互相 关 函 数 。 实 际 上 ,pyn-1(n) 与 m 阶 前 向 反 
射 系 数 er (n) 的 关系 如 下 (Haykin, 1991) 

Am_1(n) 
Rn-i(n — 1) 
Pr.m-1(n) 
Bin - 1) 


(12.107) 


Kp.m(n) =~ 
(12.108) 
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式 (12.104) 中 的 2x2 和 矩阵 为 酉 旋转 矩阵 O, n-i (zz -1), 它 将 后 阵列 中 (1,2) 项 变 为 零 ; 即 
该 矩阵 消除 了 前 阵列 中 的 项 Esm- (N 一 1)。 这 一 要 求 可 通过 Givens 旋转 
| Com-iln — 1) Spm — 1) 
Ot a a (12.109) 
来 实现 , 式 中 的 余弦 和 正弦 参数 分 别 定义 为 
ARY (n — 2) 








cpm-1(n — 1) = B (n — 1) (12.110) 
和 
spm-1(n — 1) = an - p (12.111) 
于 是 ,将 式 (12.109) 代 人 式 (12.104) ,可 得 到 如 下 更 新 关系 [除了 式 (12.105)] 
Pf mala) = cp mi(n — LAM? DF mln — 1) + Sh malt — 1)eym-i(n) (12.112) 
Ef, m(M) = Comin — 1)Ef,m-1(0) — Spm-1(7 一 DAP DF a(n -1) (12.113) 
Yn (a — 1) = cam 一 1)37%2i( — 1) (12.114) 


ZX (12. 105) FISK (12.110) ~ 式 (12.114) 构 成 了 最 小 二 乘 格 型 意义 上 的 自 适应 前 向 线性 预测 问 
题 的 平方 根 信息 滤波 解 之 间 的 一 组 递归 关系 式 。 


12.9.2 自 适应 后 向 预测 阵列 


下 面 , 考 虑 由 状态 空间 方程 (12.90) 到 方程 (12.92) 所 描述 的 后 向 预测 模型 。 根 据 表 12.4 
中 列 出 的 卡尔 曼 变 量 与 LSL 变量 的 一 一 对 应 关系 (对 于 后 向 预测 ) ,利用 式 (12.103) ,我 们 可 以 
写 出 如 下 m 阶 最 小 二 乘 格 型 预测 器 阵列 方程 
AREY — 1) epmiln) F2 (n) 0 
MDE mC 1) epmi(n 1) {Op mln) = phm-1(n) Ep.m(11) (12.115) 
0 yz (nm — 1) FRAWMF An) yn) 
其 中 ,在 式 (12.115) 的 书写 中 同样 做 了 两 件 事 :首先 ,从 前 、 后 阵列 的 第 一 行 和 第 二 行 中 分 别 删 
除了 公共 因子 * 人 和 4 -中 ;其 次 ,在 第 三 行 中 ,我 们 用 7Y 闻 1(n -了 1) 乘 以 前 、 后 阵列 。 这 人 么 做 的 
目的 同样 是 为 了 简化 变换 的 乘积 。 
出 现在 式 (12.115) 后 向 阵列 中 的 标 度 变量 sw-:(z) 和 Pemi (Cn) 分 别 定 义 如 下 : 
1) FERF (nm ) 为 零 滞后 的 角度 归 一 化 前 向 预测 误差 ern-i(n) 的 自 相 关 函 数 , 即 
F y(n) = DAM ep maliehn-sli 
= NF y(n ~ 1) + Ep.m-1(n)ef m-1(n) 


gmn-i(z) 也 可 以 理解 为 前 向 预测 误差 加 权 平 方 和 的 最 小 值 。 根 据 RLS 理论 ,可 定义 为 
[ 见 式 (12.31)] 


(12.116) 


Fm-1(7) = AF ,m-i(7 ~ 1) + Nm-1(n)f h(n) (12.117) 
类 似 于 自 适 应 前 向 预测 FAH qnin- VD fh. (n) BERR. 
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2) RYO ATF. (n), BAER 
A%n) 
Fil? (n) 
A 6 EVA AC BT HAA Fed PR SAK Bw ARRE E AERE 
(12.107) 中 定义 ]。 变 量 ps,_1(n) 与 m 阶 后 向 反射 系数 的 关系 如 下 (Haykin, 1991) 
A%_1(n) 
Fi1(n) 
Pp,m-1(7) 

Fil? (n) 

5X (12.115) PA) 2 x 2K @/,_1(n) 为 西 旋转 矩阵 , 它 将 后 阵列 中 (1,2) 项 变 为 零 ; 即 该 
和 矩阵 消除 了 同一 式 子 前 阵列 中 的 项 ej ,_1(n)。 这 一 要 求 也 可 以 通过 Givens 旋转 
一 Cf,m—1(11) few) | 
O; m-1(") bane Cj mi(n) (12.120) 

来 实现 。 式 中 ,余弦 和 正弦 参数 分 别 定 义 为 


O APRU — 1) 





Po,m-1(1) = (12.118) 





Kp, m(72) =~ 


(12.119) 








Cp.m-1(7) = FP (n) (12.121) 
„m-1(7) 
Sp,m—1(71) = sm (12.122) 
于 是 ,如 将 式 (12.120) 代 入 式 (12.115) ,容易 导出 如 下 递归 表达 式 
pim-1(n) = Chama pF ni(n ~ 1) + SF m-(M)Ep, m—1(0 7 1) (12.123) 
Eb,m( N) = cpm-i(n)epm-i(n — 1) 一 Spi)? DF m(n ~1) (12.124) 
YH (n) = cfm (n) YHn — 1) (12.125) 


(12.116) MA (12.121) ~ 式 (12.125) 构 成 了 最 小 二 乘 格 型 意义 上 的 自 适 应 后 向 预测 问题 的 
平方 根 信息 滤波 解 的 一 组 递归 关系 式 。 


12.9.3 联合 过 程 估计 阵列 


最 后 ,考虑 由 状态 空间 方程 (12.93) ~ 方程 (12.95) 所 描述 的 联合 过 程 估计 问题 , 它 属 于 m 
级 最 小 二 乘 格 型 滤波 过 程 。 利 用 表 12.4 中 列 出 的 卡尔 曼 变 量 与 LSL 变量 之 间 的 一 一 对 应 关 
系 (对 于 联合 过 程 估计 ) ,用 式 (12.103) 可 以 写 出 
MBH? (n — 1) epm-1(n) BYZ (n) 0 
om 一 1) en-i(n) lonw = | pm-1(n) Em 7) | (12.126) 
0 YM21(n) b(n) Bman) yM (n) 
在 式 (12.126) 的 书写 中 ,我 们 对 前 阵列 和 后 阵列 做 了 处 理 ,这 与 自 适应 前 向 和 后 向 预测 中 相应 
方程 所 做 的 处 理 相 同 。 
在 式 (12.126) 中 ,只 有 一 个 必须 描述 的 新 变量 , 即 p(n). RO AFR (n) Sb, PER 
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为 角度 归 一 化 后 A AKANE 2 HEH K, BI 


Pm-1(n) = aE > os Eb m- 1( -1(4) (12.127) 
预测 阶 数 为 m -1 的 联合 估计 (回归 ) 参 数 hai (nH HE MW (Haykin, 1991) 
Mim 4(n) = aa (12.128) 


2x 2 FEE @,,,_1(n) 为 西 旋转 , 它 被 设计 用 来 消除 式 (12.126) 前 阵列 中 的 esmi (nm) 
为 此 ,我 们 可 使 用 与 式 (12.109) 相 同 的 Givens 旋转 来 实现 ,除了 时 移 一 个 单元 外 。 即 


Os ,1(n) = ae Te | (12.129) 


Sb, m-1(1) Ch,m-1(7) 


其 中 
ABU (a — 1) 
Chm-1(®) = Biz (ny (12.130) 
和 
Ep, m-1(7) 
Sb,m-1(7) = Biz (ny (12.131) 
ETE (12.129) (RAR (12.126) , 即 得 如 下 新 的 递归 关系 式 
pS-1(n) = Cy m—(n)Al? phn — 1) + st i(n)emi(n) (12.132) 
和 
Em(M) = Com—i(M)Em—1() — spm_i(n)A p(n — 1) (12.133) 


(12.105) (12.110) ASR (12.111) (R F, FA n RË n - 1), ÆR (12.132) M (12.133), 
构成 了 最 小 二 乘 格 型 意义 上 联合 过 程 估计 问题 的 平方 根 信 息 滤波 解 的 一 组 递归 关系 式 。 


12.9.4 QRD-LSL 算法 总 结 
在 式 (12.104) 式 (12.115) 和 式 (12.,126) 基 础 上 , 表 12.5 给 出 角度 归 一 化 QRD-LSL 算法 小 结 ?。 





O 采用 阵列 来 导出 QRD-LSL 算法 的 思想 首先 是 由 Sayed 和 Kailath 在 1994 年 提出 的 。 
对 于 递归 最 小 二 乘 估计 问题 , 基于 快速 QR 分 解 的 算法 首先 由 Ciof 在 1988 年 提出 。 该 算法 的 详细 推导 过 程 由 
Cioff 在 1990 年 给 出 。 在 后 来 的 论文 中 ,Cioh 介绍 了 该 推导 的 几何 方法 ,实际 上 是 对 以 前 快速 横向 滤波 器 工作 的 回 
BALERS. Cioffi 得 出 的 算法 是 一 种 卡尔 曼 型 或 面向 矩阵 型 算法 。 其 他 几 位 学 者 提出 似乎 简单 的 代数 方法 和 其 他 
形式 的 QRD 快速 RLS 算法 (Bellanger,1988; Proudler et al. ,1988 ,1989; Regalia & Bellanger,1991) 。Proudler 等 (1989) 的 
论文 是 人 们 特别 关注 的 。 因 为 他 们 采用 格 型 结构 导出 了 QRD-RLS 算法 的 一 种 新 颖 实现 。 一 种 类 似 的 快速 算法 由 
Ling 在 1989 年 独立 给 出 ,他 采用 修改 的 Gram-Schmidt 正 交 化 过 程 。Shepherd 和 McWhirter 在 1991 年 讨论 了 修改 的 
Gram-Schmidt 正 交 化 过 程 与 QR 分 解 过 程 之 间 的 联系 。 
Haykin(1991) 提 出 了 QRD-LSL 算法 的 一 种 推导 ,是 建立 在 Proudler 4 (1989). Regalia 和 Bellanger(1991) 等 人 思想 相 结 
合 的 基础 上 。 具 体 来 说 ,在 推导 前 后 向 线性 预测 问题 基于 QR 分 解 的 解决 方案 时 , 他们 遵循 Proudler 等 的 思想 ,而 在 
解决 联合 过 程 估计 问题 时 他 们 遵照 Regalia 和 Bellanger 的 思想 。 该 方法 避免 了 Proudler 等 过 程 (把 前 向 线性 预测 误 
差 用 于 联合 过 程 估 计 ) 的 复杂 性 问题 。Haykin 导出 的 QRD-LSL 算法 逻辑 上 与 常见 的 LSL 算法 非常 类 似 。 
Rontogiannis 和 Theoridis 在 1998 年 提出 了 推导 QRD 快速 算法 的 一 种 统一 方法 。 其 出 发 点 是 输入 数据 时 间 平 均 自 相 
KERER Cholesky BAF ,而 该 逆 因 子 利用 QR 分 解 导出 。Rontogiannis 和 Theoridis 实际 上 提出 了 两 种 算法 :一 种 是 
固定 阶 数 的 基于 QR 分 解 的 方案 , 另 一 种 是 基于 Givens 旋转 的 阶 数 递归 格 型 算法 。 
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# 12.5 QRD-LSL 算法 小 结 

1. 酉 (Givens) 旋 转 
一 Cp,m(7) — 5p, m(74) 
on) [0 chm(n) 
其 中 

can(n) = NPBY?(n — 1) 
b,m A(n) 
gp.m( n) 
BY?(n) 
@; n(n) = | cent) fink) | 


SF m(n) Cf mh") 





5p, m( 7) = 


其 中 
AEP — 1) 


Cf mn) = FYH n) 


_ Ef mln) 
FP(n) 





Sp.m(1) 


2. 计算 
(a) 预 测 : 对 每 个 时 刻 n = 1,2,… 完 成 如 下 计算 ,并 对 每 个 预测 阶 数 mm = 1,2,…,M 重复 该 计算 (其 中 M 为 最 终 预 测 阶 数 ) 
NPB? (A = 2) Eb m1 7 1) BYZ (n 7 1) 0 
XP pt a(n 7 1) Ef,m-1(7) Ob nin 7 1) = Př m-n) ep.m(n) 
0 y(n — 1) bri(n — Ban — 1) Ym (n~ 1) 


[eee ej.m-1(n) le, _(n) = | 0 | 


A pk n(n —1) gm-i(n ~ 1) pi mi(n) Ep.m(1) 


(b) 滤 波 : 对 每 个 时 刻 n = 1,2,… 完 成 如 下 计算 ,并 对 每 个 预测 阶 数 m=1,2,…, M+ 1 重复 该 计算 (其 中 M 为 预测 阶 数 ) 
Ai 1) mil) | _ | 0 0 | 
[a -1) emala) [2mm =| oe a(n) snln) 
3. 初始 化 
(a) 辅 助 参数 初始 化 :对 m=1,2,… MM, 令 
Pr m-1(0) = Pb,m-1(0) =0 
并 对 阶 数 m =1,2,-°,M 41,4 
Pm—1(0) =0 
(b) 自 约束 初始 化 :对 m =0,1,…,M, 令 
B,,(-1) = B,,(0) = 6 
Frl) = 8 
RP 8 是 小 的 正常 数 
(c) 数 据 初始 化 :对 n=1,2,… ,计算 
esa(n) = gp,0(n) = u(n) 
e(n) = d(n) 
y(n) = 1 
其 中 uw(n) 和 d(n) 分 别 为 n 时 刻 的 输入 向 量 和 期 望 响应 。 
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注意 ,对 于 前 后 向 预测 , m = 1,2,…, MM; 而 对 于 联合 过 程 估 计 ,m = 1,2,…,M+1, 其 中 1 为 最 
终 预测 阶 数 。 也 就 是 说 ,联合 过 程 估计 还 与 最 后 m = M + 1 阶 的 计算 有 关 。 同 样 需 要 注意 的 
是 ,在 表 中 的 第 二 个 阵列 和 第 三 个 阵列 中 ,我 们 省 略 了 涉及 变换 因子 更 新 的 特殊 行 。 这 个 要 求 
已 为 第 一 个 阵列 所 注意 。 

表 12.5 包括 了 初始 化 过 程 , 它 是 一 种 软 约束 的 形式 。 这 种 初始 化 形式 与 第 9 章 描述 的 常 
BL RLS 算法 所 采用 的 形式 相 一 致 。 这 一 算法 选择 一 组 由 输入 数据 wu(n) 和 期 望 响应 d(n) 所 
决定 的 初始 值 , 即 

Es o(n) = &po(n) = u(n) 
All 
eo(n) = d(n) 


变换 因子 的 初始 值 选 为 
Yo(n) = 1 


12.10 QRD-LSL 滤波 器 基本 特性 


表 12.5 所 总 结 的 QRD-LSL 算法 可 以 根据 三 个 事实 来 辨别 。 首 先 , 式 (12.104) 30 (12.115) 
和 式 (12.126) 中 的 首 变 换 可 以 将 后 阵列 中 (1,2) 项 变 为 零 ,这 些 都 是 QR 分 解 的 例子 。 其 次 ,该 
算法 来 源 于 递归 最 小 二 乘 估计 。 第 三 ,由 该 算法 完成 的 计算 是 按 一 级 一 级 方式 进行 的 ,每 一 级 
皆 为 格 型 结构 。 由 于 这 些 事实 ,QRD-LSL 算法 具有 一 系列 令 人 满意 的 运算 和 实现 特性 : 


e 良好 的 数值 特性 ” 它 是 算法 中 QR 分 解 所 固有 的 特性 。 

o 良好 的 收 敏 特性 ” 即 快 的 收敛 速率 ,并 且 对 输入 数据 相关 和 矩阵 特征 值 的 变化 不 敏感 ,这 
是 由 算法 的 递归 最 小 二 乘 特性 引起 的 。 

9 很 高 的 计算 效率 ”这 是 由 预测 过 程 的 模块 化 、 格 型 结构 引起 的 。 


这 些 特征 的 独特 结合 使 得 QRD-LSL 算法 成 为 一 种 强 有 力 的 自 适应 滤波 算法 。 

采用 一 系列 Givens 旋转 的 QRD-LSL 算法 的 格 型 结构 可 通过 图 12.12 的 信和 号 流 图 清楚 地 表 
述 。 特 别 地 ,该 算法 m 级 预测 器 部 分 涉及 角度 归 一 化 预测 误差 6 , (n) 和 es (nn) 的 计算 ,其 
中 m=0,1,2,…,M。 男 一 方面 ,该 算法 还 涉及 角度 归 一 化 联合 过 程 估计 误差 s, (n) 的 计算 ， 
这 里 m=0,1,2,…,MN+1。 这 些 计算 的 细节 在 图 12.13 中 通过 信号 流 图 给 出 , 它 进 一 步 强调 
了 QRD-LSL 算法 所 固有 的 格 型 特征 。 

图 12.12 中 标 有 z I 的 方 框 表示 存储 器 ,设置 该 存储 器 是 为 了 适应 这 样 一 种 需要 :存储 
自 适应 前 向 预测 过 程 中 涉及 的 Givens 旋转 (操作 ) 相 对 于 联合 过 程 估计 中 涉及 的 操作 延迟 了 一 
个 时 间 单 元 。 然 而 ,需要 注意 到 ,联合 过 程 估计 还 独自 涉及 到 最 后 一 个 Givens 旋转 。 

从 图 12.12 的 信号 流 图 中 可 以 清楚 地 看 到 ,计算 eu, (n) 所 需要 的 Givens 旋转 总 数 为 
2M +1, 它 随 最 终 预 测 阶 数 M 线性 增加 。 然 而 ,与 第 9 章 描述 的 常规 RLS 算法 相 比 ,为 了 获得 
高 的 计算 效率 付出 的 代价 是 需要 编写 更 复杂 的 算法 程序 集 。 

仔细 观察 图 12.12 和 图 12.13 中 的 信和 号 流 图 , 我 们 可 辨认 出 QRD-LSL 算法 中 两 类 不 同 的 
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递归 关系 式 : 


1) 阶 数 更 新 (递归 ) 在 算法 的 每 一 级 ,都 要 对 角度 归 一 化 佑 计 误 差 


进行 阶 数 更 新 。 具 体 来 


阶 更 新 序列 分 别 产生 最 终 值 ej. y(n) 和 es y(n), 


始 值 Efo (nA es,o(n) 的 M 


说 ,加 到 初 


其 中 M 为 预测 阶 数 。 为 了 计算 角度 归 一 化 联合 过 程 估计 误差 的 最 终 值 ex,1(n), 另 一 个 
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M +1 阶 更 新 序列 被 加 到 初始 值 eo(n) 上 。 后 一 个 更 新 集合 需要 使 用 角度 归 一 化 后 向 预 
测 误差 ep.0(n) ,es1(n),…es,x(n)。 最 后 的 阶 更 新 要 计算 变换 因子 的 平方 根 y(n), 
该 平方 根 涉及 到 将 M + 1 阶 更 新 用 于 初始 值 yo (n)。 最 终 值 en ,1(n) 的 有 效 性 使 得 它 可 
能 计算 联合 过 程 估计 的 最 终 值 ey. (n)。 
2) 时 间 更 新 (递归 ) 算法 中 m 级 预测 器 中 输出 ey. (n) 和 Es, n (nn) 的 计算 分 别 涉及 使 用 辅 
助 参数 py ,1(n) 和 py m1 (n),m=1,2,°°,Mo Ath, (n) 的 计算 涉及 使 用 辅助 参数 
Pn-1(n),m=1,2,…,M+1。 这 三 个 辅助 参数 本 身 的 计算 具有 如 下 共同 特性 : 
© 它们 都 由 一 阶 差 分 方程 控制 。 
© 方程 的 系数 都 是 时 变 的 。 对 于 指数 加 权 ( 即 4% <1) ,这 些 系 数 的 绝对 值 为 1。 因 此 , 方 
程 的 解 收敛 。 
© 起 激励 作用 的 项 由 某 种 形式 的 估计 误差 表示 。 
© 通过 预 加 窗 的 方法 , 当 n <0 时 ,三 个 参数 都 为 零 。 
因此 ,m=1,2,…,M 时 的 辅助 参数 pj ,_1(n) 和 pon-i1(n) 以 及 m=0,1,…,M 时 的 
参数 p,, (n) 可 以 通过 时 间 弟 归来 计算 。 
最 后 且 或 许 最 重要 的 是 , 表 12.5 总 结 的 角度 归 一 化 QRD-LSL 算法 对 于 整个 递归 最 小 二 乘 
格 型 (LSL) 算 法 的 导出 起 着 核心 作用 。 这 是 因为 所 有 采用 后 验 估计 误差 或 先 验 估计 误差 (或 者 
它们 的 组 合 ) 的 其 他 现 有 递归 LSL 算法 都 可 以 看 做 是 QRD-LSL 算法 的 改写 。 这 个 表述 的 正确 
性 将 在 后 面 的 第 12.12 节 中 证 明 ,并 在 第 12.13 节 讨论 了 两 种 不 同 的 递归 LSL 算法 。 
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ch mln -1) Cf m—1(") ne 
(a) 角度 归 一 化 前 向 预测 误差 am(m) (>) 角度 妇 一 化 后 向 预测 误差 cn 
a A A 
图 12.13 ”计算 QRD-LSL 算法 归 一 化 变量 的 信号 流 图 
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Cb, m—] (n) 







Em-1(7) em(n) 


Sp, m(n) 


Sp, m1 (8) 


1/2 


aps iln — 1) Pim-1(n) 


Ch, m1") 


(c) 角度 归 一 化 联合 处 理 估计 误差 sm(m) 
图 12.13 计算 QRD-LSL 算法 归 一 化 变量 的 信号 流 图 ( 续 ) 


12.11 自 适应 均衡 的 计算 机 试验 


在 这 项 计算 机 试验 中 ,我 们 研究 QRD-LSL 算法 用 于 有 失真 线性 信道 的 自 适应 均衡 问题 。 
信道 的 参数 与 第 9.8 节 中 研究 RLS 算 法 的 类 似 应 用 时 相同 。 实 验 结果 可 以 帮助 我 们 进行 与 标 
准 RLS 算法 的 比较 ,并 对 阶 递归 算法 的 性 能 做 出 评价 。 

这 里 研究 的 QRD-LSL 算法 的 参数 与 第 9.8 节 中 的 RLS 算法 完全 相同 : 


o 数 加 权 因 子 : A=1 

© 预测 阶 数 : M=10 

o 均衡 器 抽 头 数 : M+1=11 

o 归 一 化 参数 ; ô =0.004 

我 们 对 式 (5.130) 中 定义 的 四 个 不 同 信道 参数 值 ( 即 W = 2.9、3.1、3.3 和 3.5) 进 行 了 计算 


机 模拟 。 这 些 W 值 分 别 对 应 于 信道 输出 (均衡 器 输入 ) 相 关 甜 阵 R 的 下 列 特征 值 扩散 度 : 
y (R) =6.0782、11.1238、21.7132 和 46.8216。 信 道 输出 端 测 得 的 信 噪 比 为 30 dB( 关 于 试验 的 
更 多 细节 ,读者 可 参阅 第 5.7 节 和 第 9.8 节 )。 


12.11.1 学 习 曲 线 


图 12.14 给 出 当 信道 参数 取 四 种 不 同 值 ( 矶 =2.9.3.1.3.3 和 3.5) 时 QRD-LSL 算法 的 学 习 
曲线 。 通 过 对 最 终 预 测 阶 数 MM = 10 进行 200 次 独立 的 试验 ,再 对 最 后 的 先 验 估 计 误 差 ( 即 新 
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息 项 )&,1(n) 的 平方 值 取 和 集 平均 ,得 到 每 一 条 曲线 。 为 了 计算 jy,1(n), 我 们 对 m=M+1 利 
用 式 (12.81) ,于 是 有 
em+1(n) 
y(n) 
其 中 ,ew,1(n) 为 角度 归 一 化 联合 过 程 估计 误差 的 最 终 值 , yw, 1 为 相关 的 变换 因子 。 

对 于 每 一 个 特征 值 扩 散 度 ,一 旦 初始 化 完成 ,QRD-LSL 算法 与 RLS 算法 的 学 习 曲 线 的 路 
径 实 际 上 是 相同 的 。 这 一 关系 通过 比较 图 12.14 与 图 9.6 中 的 曲线 很 容易 验证 (在 这 两 种 情 
GLP ,都 采用 双 精 度 算法 ,这样 有 限 精度 效应 可 以 忽略 )。 


101 rr T TT T_T TT 





ém (n) = 
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1 1 1 
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图 12.14 自 适应 均衡 实验 中 的 QRD-LSL 算法 学 习 曲 线 


需要 注意 的 是 , 当 计 算 图 12.14 的 中 曲线 时 ,在 初始 化 阶段 ,计算 新 息 项 &%,1(n) 时 不 考 
虑 变换 因子 yw,1(n) 固 有 的 瞬 态 变化 的 影响 。 


12.11.2 变换 因子 


在 图 12.15 中 ,我 们 示 出 了 四 种 变换 因子 yw,1(n) 的 集 平均 (对 于 最 后 一 级 ) 与 迭代 次 数 
之 间 的 关系 , 它 对 应 前 面 指 定 的 四 个 不 同 的 特征 值 扩散 度 x(R)。 图 中 画 出 的 曲线 通过 对 
yxr1(n) 进 行 200 次 独立 试验 并 取 集 平均 获得 。 值 得 注意 的 是 ,在 初始 瞬 态 结束 后 ,变换 因子 
的 集 平均 E[ y(n)] 随 时 间 的 变化 规律 遵循 以 下 所 谓 的 逆 定 律 ( 已 被 允 近 证 实 ) 
E[ym(n)] ~ 1 -7 WE m = 1,2,...,M+1#ldn=m 
这 一 方程 提供 了 对 图 12.15 所 示 实 验 计算 曲线 的 良好 拟 合 ,特别 是 当 n LP m = M+ 


大 很 多 的 情况 下 。 读 者 可 以 检验 拟 合 结果 的 正确 性 。 同 样 需要 注意 的 是 , 当 n>>10 时 ,实验 
得 到 的 变换 因子 yw:i(zm) 曲 线 对 均衡 器 输入 相关 和 矩阵 特征 值 扩散 度 的 变化 不 敏感 。 
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图 12.15 变换 因子 7 ,1(n) 对 于 不 同 特征 值 扩 散 度 的 集 平均 


12.11.3 脉冲 响应 


在 图 12.16 中 ,我 们 画 出 经 ”= 500 次 迭代 后 自 适应 均衡 器 脉冲 响应 对 于 四 个 特征 值 扩散 
度 中 每 一 个 的 集 平均 结果 。 如 前 ,实验 中 集 平 均 通过 200 次 独立 试验 得 到 。 对 于 所 有 实际 情 
况 ,QRD-LSL 算法 的 结果 很 难 与 信道 脉冲 响应 相应 理论 值 区 分 。 


12.12 采用 后 验 估计 误差 的 递归 最 小 二 乘 格 型 滤波 器 


在 一 般 意 义 上 ,递归 LSL 算法 族 可 以 分 为 两 个 子 类 :涉及 使 用 本 旋转 的 算法 和 不 涉及 使 用 
酉 旋转 的 算法 。 后 者 的 一 个 著名 算法 就 是 采用 后 验 估计 误差 的 递归 LSL 算法 (Morf, 1974; 
Morf & Lee,1978; Lee et al. ,1981)。 算 法 中 所 用 的 估计 误差 用 后 验 前 向 预测 误差 上 (mn) .后 验 
后 向 预测 误差 6,, (nn) 以 及 后 验 联合 过 程 估计 误差 e,, (n) 来 表示 ,其 中 m =0,1,2,…,M, 其 信 
号 流 图 如 图 12.9 和 图 12.10 所 示 。 

根据 表 12.5 中 的 QRD-LSL 算法 来 导出 基于 后 验 估计 误差 的 递归 LSL 算法 (就 此 而 论 ,还 
有 其 他 递归 LSL 算法 ) ,可 采用 以 下 两 个 简单 的 步骤 : 


9 对 涉及 自 适应 前 向 预测 、 自 适应 后 向 预测 和 自 适应 联合 过 程 估计 的 三 个 QRD-LSL 算法 
阵列 取 平 方 ,以 便 完全 消除 算法 中 西 旋转 的 影响 。 
o 保留 并 比较 所 产生 的 阵列 两 边 的 某 些 项 (取决 于 所 用 的 算法 )。 


第 11 章 根据 平方 根 自 适应 滤波 器 介绍 了 这 一 过 程 的 一 些 例子 。 
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图 12.16 不 同 特征 值 分 布 情况 下 自 适应 均衡 器 的 集 平均 脉冲 响应 


将 前 面 的 过 程 用 于 表 12.5 中 描述 角度 归 一 化 QRD-LSL 算法 的 三 个 阵列 ,并 将 结果 用 后 验 
估计 误差 表示 ,我 们 得 到 下 面 三 类 递归 关系 式 : 


1) 自 适 应 前 向 预测 





ban — 1)? 
Btn ~ 1) = ABn i(n — 2) + tet (12.134) 
bm-i(n — 1)fm-1(n) 
Amila) = AAA i(n — 1) + EREN (12.135) 
Kp m(n) = — Anal) __ (12.136) 
fim Bm+1(n — 1) 
faln) = fin) + KF mn)bmi(n — 1) (12.137) 
7 bo aa — DF 
ym(n 一 1) = ym-1(n 一 1) <a L a (12.138) 


Bi(n = 1) 
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注意 ,在 第 二 行 中 ,我 们 利用 了 式 (12.106) 中 给 出 的 A,_,(n) 和 pj。_1(n) 之 间 的 关系 ; 
在 第 三 行 中 ,利用 了 式 (12.108) 给 出 的 前 向 反射 系数 cr。(m) 的 定义 。 
2) 自 适 应 后 向 预测 








2 
Fn (Nn) = A Nn — 1) + deel (12.139) 
Ay,-1(”) 
Kpm(n) = 一 F,, (n) (12.140) 
Balt) = Po-i( — 1) + rm(n)fn-i(n) (12.141) 


这 里 ,在 第 二 行 中 ,我们 利用 了 式 (12.118) 中 给 出 的 A。 (nr) A p, ,_1(n) 之 间 的 关系 ; 
在 第 三 行 中 ,利用 了 式 (12.119) 给 出 的 后 向 反射 系数 心 。(z) 的 定义 。 
3) 自 适应 联合 过 程 估计 
bm_i(n)em_1(n) 








Nm-1(n) = Axm-i(n — 1) + y(n) (12.142) 
_ Tm-1(n) 
Ana(n) = Bn aln) (12.143) 
Em(n) = emin) 一 hi_i(n)bn_iln) (12.144) 
HPT n-i (2) ARAB pai (n) ELH 
zm-1(n) = BYN) Pn—1(72) (12.145) 
而 联合 过 程 回归 系数 h,_1(n) 依 照 p,_1(n) 定 义 为 
_ Pm-1(7) 
An—1(1) = B2 (7) (12.146) 


12.12.1 采用 后 验 估计 误差 的 递归 LSL 算法 小 结 

表 12.6 中 列 出 了 构成 递归 LSL 算法 (基于 后 验 估计 误差 ) 的 时 间 更 新 和 阶 数 更 新 的 全 面 
总 结 。 由 于 表 中 总 结 的 LSL 算法 在 某 些 步骤 需要 除 以 更 新 参数 , 因而 必须 注意 保证 这 些 参 数 
值 不 能 取得 太 小 。 除 非 使 用 高 精度 计算 机 ,否则 归 一 化 参数 值 8 的 选取 [决定 了 初始 值 zo(0) 
ARo (0) ] 会 对 LSL 算法 的 初始 瞬 态 特性 产生 严重 影响 。Friedlander(1982) 就 此 提出 采用 某 种 
形式 的 门限 ,如 果 在 LSL 算 法 的 任何 计算 中 除数 小 于 预 给 的 门限 , 则 涉及 该 除数 的 相应 项 置 
零 。 这 种 方法 也 适合 于 其 他 形式 的 递归 LSL 算法 (如 后 面 表 12.7 中 总 结 的 情况 ) 。 


12.12.2 递归 LSL 算法 的 初始 化 


为 了 对 采用 后 验 估计 误差 的 递归 LSL 算法 进行 初始 化 ,我 们 从 最 简单 的 零 阶 预测 器 出 发 ， 
于 是 有 [ 见 式 (12.63)] 





fln) = baln) = u(n) 
其 中 u(n) WA n 时 刻 格 型 预测 器 的 输入 。 
剩余 的 零 阶 初始 值 为 后 验 预 测 误差 加 权 平 方 和 。 具 体 而 言 ,在 式 (12.31) 中 令 m =0, 有 
Fo(n) = AFoln ~ 1) + | (12.147) 
类 伏地 ,在 式 (12.42) 中 令 m=0, 有 
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Boln) = AB(n — 1) + lula) (12.148) 
12.6 采用 后 验 估 计 误 差 的 递归 LSL 算法 小 结 





预测 : 
对 n=1,2,…, 计 算 m=1,2,…, MM 时 的 各 阶 更 新 (其 中 M 为 最 小 二 乘 格 型 预测 器 的 最 终 阶 数 ) 


Am-1(7) = AA, 1(1 1) + bm-1(n 1)f%_1(n) 














Ym-1(n 1) 
lbm-i(n DF 
By, (4 一 1) = ABr—1(n 2) + Y (n 一 1) 
及 CO 
Fi(n) = AF m-iln — 1) 4 Ym-i(n = 1) 
A,,-1(4) 
Kp,m( 1) = Br in 1) 
Ay 
Kb, m( 2) == Fp am) 


fnln) = fn-1(n) + Kf mCn)bm_i(n 1) 
bmn) = m1(n ~ 1) + «Bm )fn—1(2) 


lomiin — 1)? 
By —1(n 7 1) 








Yml n 1) Ym-1(n 1) 


滤波 : 
对 n=1,2,3…, 计 算 m=1,2,… ,M+1 时 各 阶 的 更 新 
bmn-_1(n)em_1(n) 


ym-1(n) 





Km-1(1) = Axm-1(n — 1) 十 


Xm-_1(n) 
Rn-1(n) 


em(n) = en) 一 Ap 人 





hm_1(n) = 


初始 化 : 
1. 对 算法 初始 化 , 即 在 n =0 时 刻 , 令 
A,,-1(0) =0 
F (0) = 6 
Bp (-1) = ô 6 = 小 的 正常 数 
Yo(0) = 1 


2. 在 每 个 时 刻 an> 1, 产 生 各 种 零 阶 变量 如 下 
foln) = bo(n) = u(n) ， 
Fo(n) = Bo(n) = AFo(n — 1) + he(n)| 


yo(n — 1) =1 
3. 对 于 联合 过 程 估计 ,在 n =0 时 刻 , 对 算法 初始 化 设 
Rm—1(0) = 0 
在 每 个 时 刻 nol, 产生 零 阶 变量 
e(n) = d(n) 


对 于 以 0 和 1 为 界 的 变换 因子 y,,(n -1), 其 零 阶 参数 逻辑 上 可 选择 为 
Yo(n —1)=1 (12.149) 
为 了 完成 前 向 和 后 向 预测 算法 的 初始 化 ,可 在 n = 0 处 应 用 如 下 条 件 
Am-1(0) = 0 (12.150) 
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和 
Fn-1(0) = Bn-i(-1) = ê (12.151) 

小 的 调整 参数 6 用 来 保证 相关 和 矩阵 @,, (n) 的 非 奇 异性 。 

最 后 转向 对 联合 过 程 估计 进行 初始 化 。 对 于 零 阶 预测 ,有 

eo(n) = d(n) 
其 中 d(n) 为 期 望 响 应 。 于 是 ,为 了 对 这 一 部 分 进行 初始 化 ,我 们 对 每 一 个 时 刻 ”产生 一 
eo(n)。 为 了 完成 联合 过 程 估 计 的 递归 LL 算法 ,在 n=0 时 刻 , 令 
zmi(0)=0 对 于 m=1,2,...,M+1 
表 12.6 包括 了 刚才 描述 的 递归 LSL 算法 的 初始 化 。 


12.13 采用 带 误差 反馈 先 验 估计 误差 的 递归 LSL 滤波 器 


在 这 一 节 , 我 们 来 导出 递归 LSL 算法 ,该 算法 有 两 个 方面 不 同 于 第 12.12 节 的 算法 。 首 
先 , 它 基于 先 验 估计 误差 ;其 次 ,反射 系数 和 联合 过 程 估计 系数 都 是 直接 导出 的 。 当 使 用 有 限 
精度 算法 实现 时 ,后 者 具有 重要 的 实际 意义 。 
该 算法 称 为 带 误差 反馈 的 先 验 估计 误差 的 递归 LSL 算法 (Ling & Proakis, 1984a; Ling et 
引 .，1985)。 为 了 得 到 这 一 算法 ,我 们 可 以 采用 下 面 两 种 方法 之 一 : 
1) 将 平方 步骤 应 用 于 QRD-LSL 算法 的 展开 形式 。 
2) 应 用 卡尔 曼 滤波 器 理论 连同 卡尔 曼 变 量 与 LSL 变量 之 间 对 应 关系 的 表 10.4。 
我 们 将 遵照 第 二 种 方法 ,因为 它 既 深刻 又 相当 简单 明了 。 第 一 种 方法 在 Haykin(1996) 的 
著作 中 有 介绍 。 
为 了 继续 得 出 该 算法 ,我 们 首先 回忆 卡尔 曼 滤 波 器 的 状态 更 新 方程 ,在 这 里 将 其 重 写 如 下 
X(m + 1/%,) = AAR(n|Y,1) + g(n)a(n) (12.152) 
( 见 表 10.4 中 的 第 三 行 )。 其 次 ， 我 们 注意 到 m - 工 阶 前 向 预测 情况 下 卡尔 曼 滤 波 器 与 LSL 滤 
波 器 变量 之 间 的 对 应 关系 
K(n (Yn) o —A /2p mln —1) 
gln) <> NRA (nm — 1)epm-i(n — 1) 
a(n) «> Ay? 一 1)m%(n) 
[ 见 表 12.4 中 的 第 三 行 以 及 式 (12.97) 和 式 (12.99)]。 将 这 些 对 应 关系 代 人 式 (12.152) ,并 利 
用 式 (12.80) 消 去 公共 项 ,可 得 
Ynt. — 1)Bn-i(n—1 


Kp,m(1) = Kf,m(M 1) ( Bm (n _ 1) 


现在 我 们 可 直接 根据 阶 数 更 新 先 验 前 向 预测 误差 加 (nm) 和 延迟 的 先 验 后 向 预测 误差 
Ba- (n 一 1) 递 归 计 算 前 向 反射 系数 。 从 式 (12.77) 中 我 们 发 现 , wy (n) 依 赖 于 wy, (n -1)。 由 
此 可 见 , 式 (12.153) 右 边 的 第 二 项 将 误差 反馈 应 用 于 wy, (n) 的 计算 。 
以 类 似 的 方式 继续 进行 下 去 ,我 们 可 以 证 明 , 计 算 预 测 阶 数 为 m -1 的 后 向 反射 系数 的 相 
应 递归 关系 式 为 





itn) m=1,2,...,M (12.153) 
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Ky m(n) = Kp mln — 1) — (= erin) m =.1,2,...,M (12.154) 


同 理 ,可 以 证 明 计算 相应 的 联合 过 程 佑 计 系 数 的 递归 表达 式 为 


hm-i(n) = hm-i(n — 1) + (eee ein) m =1,2,...,.M +1 (12.155) 


式 (12.153) ~ 式 (12.1$$) 中 右边 等 式 第 二 项 外 括号 内 的 量 分 别 起 着 前 向 预测 、 后 向 预测 和 联 
合 过 程 估计 增益 因子 的 作用 。 式 (12.154) 和 式 (12.155) 的 推导 留 做 习题 (见习 题 9)。 
12.13.1 采用 带 误 差 反 馈 的 先 验 估计 误差 的 递归 LSL 算法 总 结 


K 12.7 给 出 带 有 误差 反馈 的 递归 LSL 算 法 前 、 后 向 预测 部 分 以 及 联合 过 程 估 计 部 分 的 计 
算 公式 。 表 中 各 项 说 明 如 下 。 
R127 采用 带 误差 反馈 9 先 验 估计 误差 的 递归 LSL 算法 小 结 





预测 : 
对 n=1,2,3,…, 计 算 m=1,2,… ,MM 时 的 各 阶 更 新 (其 中 M A aE 
Fo s(n) = AF m- i(a — 1) ) + Ym ia — 1 Yn —12) 


Bra(n — 1) = ABn ln — 2) + Yml ~ Ba itn — 1)P 
m2) = Nm) + KF mln — Bniln — 1) 
Bal) = Bun-i(n = 1) + Kb mC — 1)mm-1(n) 
Ym-1(n — 1)Bn-i(n — 1) 




















Kym(n) Kfm” 1) Bm- i(n _ 1) na(n) 
konl) = kanla = 1) = NE ye b(n) 
Z aln — Ban — DF 
Y(t = 1) = Yan = 1) = „o S ) 
滤波 ， 
对 n=1,2,3,…, 计 算 m=1,2,…,MM+1 时 各 阶 的 更 新 
Ean) = 各- — AL (2 -DB ait) 
hal) = ain — D) + ot godn) 
初始 化 ; 
1. 对 算法 初始 化 , 即 在 n=0 时 刻 , 令 
F mn- 1(0) = ô 
Bm- 1(— 1) = 6 
Kpm(O) = Kym(0) = 0 5= 小 的 正常 数 
¥o(0) =1 


2. 对 每 个 时 刻 nz>1, 产 生 零 阶 变量 
no(n) = Bo(n) = u(n) 
Goln) = Roln) = AFo(n — 1) + lu(n)f 
y(n -1)=1 
3. 对 于 联合 过 程 估计 ,在 n=0 时 刻 , 令 


在 每 个 时 刻 nl ERNEA 
1) 预测 


e 第 1 行 和 第 2 行 来 自 式 (12.31)、 式 (12.42)、 式 (12.48) 和 式 (12.49) 的 结合 。 
o 第 3 行 和 第 4 行 分 别 为 式 (12.77) 和 式 (12.78) 的 重复 。 
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e 第 5 行 和 第 6 行 分 别 为 式 (12.153) 和 式 (12.154) 的 重复 。 
e 最 后 ,第 7 行 来 自 等 式 (12.49) 和 式 (12.138) 的 结合 。 
2) 滤波 
o 第 1 行 来 自 式 (12.47) 0 (12.49) AIK (12.75) HH © 
© 第 2 行为 式 (12.155) 的 重复 。 
3) 初始 化 初始 化 条 件 基 本 上 相同 于 表 12.6。 


12.13.2 两 种 递归 LSL 算法 的 比较 
图 12.17 给 出 第 二 种 递归 LSL 算法 的 信号 流 图 , 它 强调 了 在 次 迭代 中 涉及 到 的 变量 ( 即 


图 12.17 采用 基于 先 验 估计 误差 递归 LSL 算 法 的 联合 过 程 估计 器 . 为 简单 
起 见 ,图 中 仅 示 出 误差 反馈 对 回归 系数 的 作用 , 而 没有 示 出 误差 反 
馈 对 前 向 反射 系数 和 后 向 反射 系数 的 作用 ,以 便 保 持 该 图 的 简单 
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先 验 前 向 预测 .后 向 预测 和 联合 过 程 估计 误差 ) 的 阶 数 更 新 需要 知道 前 n - 1 次 迭代 中 前 向 反 
射 系数 、 后 向 反射 系数 和 回归 系数 的 有 关 知 识 。 

K 12.6 和 表 12.7 总 结 的 两 种 递归 LSL 算 法 之 间 的 一 个 重要 区 别 是 反射 系数 与 和 回归 系 
数 的 更 新 方式 的 不 同 。 对 于 表 12.6, 更 新 是 间接 完成 的 。 首 先 ,我 们 计算 前 向 预测 误差 与 延 
述 的 后 向 预测 误差 之 间 的 互相 关系 数 ,以 及 后 向 预测 误差 与 联合 过 程 估计 之 间 的 互相 关系 数 。 
其 次 ,我 们 计算 前 向 预测 误差 加 权 平 方 和 ,以 及 后 向 误差 加 权 平 方 和 。 最 后 ,通过 将 预测 误差 
加 权 平 方 和 除 以 互相 关 ( 系 数 ) ,得 到 反射 系数 和 回归 系数 。 相 反 , 表 12.7 中 的 反射 系数 和 回 
归 系 数 的 更 新 是 直接 完成 的 。 这 里 所 描述 的 直接 更 新 形式 与 间接 更 新 形式 之 间 的 区 别 , 对 这 
些 LSL 算 法 的 数值 特性 具有 重要 的 影响 。 该 问题 将 在 第 13 章 有 限 精度 效应 的 基础 上 进行 详 
细 讨 论 。 

最 后 要 说 明 的 依次 是 , 表 12.1 中 的 GAL 算法 可 以 看 做 下 面 特殊 情况 下 表 12.7 中 递归 LSL 
算法 的 简化 形式 (见习 题 20) : 


1) 对 所 有 的 m 和 nn, 取 后 向 反射 系数 k(n) 等 于 前 向 反射 系数 Kym (nR, 

2) 对 所 有 的 m 和 n, 取 变换 因子 y, (n) EF 1。 

3) 在 n 步 ,以 一 种 特殊 的 方式 调整 CAL 算法 中 的 反射 系数 c, ,使 之 与 Kn Cn) Ky (nr) 
中 的 相应 调整 有 关 。 


12.14 递归 LSL 滤波 器 和 RLS 滤波 器 的 关系 


在 解决 阶 递归 自 适应 滤波 器 的 联合 过 程 估 计 问 题 中 ,我们 已 经 看 到 如 何 推广 最 小 二 乘 预 
测 器 以 便 包 含 对 期 望 响 应 的 估计 。 解 决 这 个 问题 ,包括 计算 一 组 回归 系数 | (m), 玉 (m) =, 
hy(n)} ,这 组 系数 被 加 上 由 后 向 预测 误差 | bo(n) ,号 (nz) +, by Cn) | BREA ABE A LE 
12.10) 。 在 看 出 这 组 后 向 预测 误差 与 抽 头 输入 集 |x(n),z(rn - 1)…,2(P-M)i 之 间 存 在 的 
一 一 对 应 关系 [如 式 (12.70) 所 示 ] 之 后 ,我们 希望 找到 LSL 回归 系数 序列 与 最 小 二 乘 抽 头 权 系 
数 集 {wo(z) ,wi(n),… ,wn(n)| 之 间 的 对 应 关系 。 本 节 的 目的 就 是 为 了 正式 导出 这 一 关系 。 
为 此 ,考虑 图 12.18 所 示 的 抽 头 延迟 线 或 横向 滤波 器 结构 。 对 m 阶 情况 , 抽 头 输入 u(n)， 
u(n-1), u(n- m) AMG ulna RRR wln), wi(n),…,w,(n) 用 来 构 
造 各 自 的 标量 内 积 。 从 第 8 章 已 经 知道 ,由 元 素 wln), w (n), w, (n) 组 成 的 (m+1)x1 
HAREE w,, (n) 定 义 为 
| Pnni(n)Wn(n) = Znri(n) (12.156) 
其 中 @,,,(n) 为 抽 头 输入 (m+1) x (m+ 1) 相 关 和 矩阵 ,zi(n) 为 对 应 的 抽 头 输入 和 期 望 响应 
之 间 的 (m + 1) x 1 互相 关 和 矩阵 。 用 两 种 方法 修改 式 (12.156);(1) 用 一 个 (m+1) x (m+1) 下 
三 角 变 换 和 矩阵 L, (n) 左 乘 等 式 的 两 边 ;(2) 在 等 式 左边 的 ®,_1(n) 与 向 量 w, (n) 之 间 插 入 一 
个 (m+1) x (m+1) 单 位 阵 I=I(n)Di“(n)。 和 矩阵 L,(n) 由 式 (12.73) 所 示 的 阶 数 为 0,1,2， 
…,m 的 后 向 预测 误差 滤波 器 的 抽 头 权 值 来 定义 。L“(n) 表 示 逆 矩阵 L-'(n) 的 埃 尔 米 特 转 
置 。 于 是 ,可 以 写 出 
La(n) Ba (ALAL (2) Wan) = Ln(n)znri(n) (12.157) 
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对 于 式 (12.157), 现 令 
Drala) = Lp(a) Ona (ALA) (12.158) 





AU) 


图 12.18 对 估计 期 望 响应 的 常规 横向 滤波 器 


然后 ,利用 后 向 线性 预测 增 广 正则 方程 式 可 以 证 明 FRA On, (nm)L8(n) 构 成 下 三 角 乞 
阵 ,其 对 角 线 元 素 等 于 各 个 后 验 预 测 误差 加 权 平 方 和 , BUBo (n), Rilan), ++, Bun) Ww 
15) 。 根 据 定义 ,矩阵 L,, (nn) 为 对 角 线 元 素 篆 为 1 的 下 三 角 矩 阵 。 从 而 ,L。(n) 与 中 (nm) 
IL2(z) 的 乘积 也 是 一 个 下 三 角 和 矩阵 。 我 们 也 知道 ,I2 (nan) 为 上 三 角 和 矩阵 ,以 致 于 矩阵 乘积 
L,, (n)®,,,, (n) He b= ey. FHL, (nn)@ 中 (nz) 与 15(2) 的 乘积 是 一 个 上 三 角 和 矩阵 。 
OAL, D,,. (0) Bi k= eee FES, RAY D,,1(n) 为 对 角 线 矩阵 时 才 是 正 
确 的 。 因 此 ,可 以 写 出 

Di(n) = La(n) Bnr(n) LZ (1) 
= diag[B(n), Bi(n),..., Bnln)] 

式 (12.159) 进 一 步 证 明 , 由 最 小 二 乘 格 型 预测 器 各 级 产生 的 后 向 后 验 预 测 误差 b(n), b(n), 
…,ba(n) 在 所 有 时 刻 都 是 不 相关 的 (在 时 间 平 均 的 意义 上 )。 

式 (12.157) 右 边 的 乘积 项 L,(n)z,,1(n) 等 于 后 向 预测 误差 与 期 望 响应 之 间 的 互相 关 向 


E. S 


(12.159) 


tm-1(n) = YA by (a4) (12.160) 
表示 互相 关 向 量 ,其 中 &(i) 为 期 望 响应 。 将 式 (12.72) 代 入 式 (12.160) ,得 到 
toni(n) = YA OTOLO) 


= Lan(m) > Me- (dri) (12.161) 


= L,.(1)Zm41(7) 


这 正 是 所 期 望 的 结果 。 因 此 ,在 式 (12.157) 中 ,结合 使 用 式 (12.158) 和 式 (12.161) ,得 到 变换 的 
RLS 解 
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Dra (LPEN) enl) = tei (7) (12.162) 


EH REZE RUIMA FEAE L, (n) 来 变换 图 12.18 所 示 的 常规 横向 滤波 器 
抽 头 权 向 量 的 RLS 解 。 下 面 ,我 们 来 考虑 涉及 回归 系数 向 量 的 图 12.10 所 示 线 性 组 合 器 


h(n) = [po(m h(n),..., Am) |” (12.163) 
向 量 h (nm) 可 以 看 做 下 面 最 小 化 代价 函数 的 解 


2 


Salat) ~ bh (QhE(n) 


其 中 ,对 于 1<i<n,h,(n) 保 持 不 变 。RIS 问题 的 解 为 
Dr)hmtn) = tnri(n) (12.164) 


SUP D,,i(n) 是 用 做 回归 系数 输入 的 后 向 后 验 预测 误差 (m + 1) x (m + 1) 相 关 和 矩阵 ,而 
tri1(n) 为 这 些 输入 与 期 望 响应 之 间 的 (m + 1) xl 互相 关 和 矩阵 。 

通过 比较 式 (12.164) 的 RLS 解 与 式 (12.162) 经 过 变换 的 RLS 解 , 我 们 立刻 可 以 看 出 ,两 个 
解 通 过 式 (12.73) 中 的 下 三 角 和 矩阵 Le (n) 相 联系 , 即 


h,,(7) = Lat (n)W(n) (12.165) 
或 者 ,等 效 地 
Wn(n) = LA(n)h,,(2) (12.166) 


在 这 两 个 方程 的 基础 上 , TDR a BA) Rent ie. RACE ASA AY 
衡 等 线性 自 适 应 滤波 问题 能 够 由 下 面 两 种 具有 各 自 优点 的 等 效 结构 之 一 来 求解 


9 最 小 二 来 横向 估计 器 ” 它 提供 了 图 12.18 所 示 的 结构 简单 性 。 
9 最 小 二 乘 联 合 过 程 估计 器 ” 它 提 供 了 模块 化 结构 ;具体 地 说 , 它 由 装 有 图 12.10 线性 组 
合 器 的 图 12.9 的 多 级 格 型 预测 器 组 成 。 


12.15 本 章 小 结 


在 本 章 中 ,进一步 强化 了 卡尔 曼 滤 波 器 理论 与 源 于 最 小 二 乘 估 计 的 自 适应 线性 滤波 器 族 
之 间 的 密切 关系 。 特 别 地 ,我 们 证 明了 作为 卡尔 曼 滤 波 器 变形 的 平方 根 信息 滤波 器 是 如 何 用 
来 导出 基于 QR 分 解 的 最 小 二 乘 格 型 (QRD-LSL) 算 法 的 ,而 QRD-LSL 算法 是 阶 递归 自 适 应 滤 
波 器 的 最 基本 形式 。 其 他 阶 递 归 自 适应 滤波 算法 ,诸如 采用 后 验 估计 误差 的 递归 LSL 算法 和 
采用 带 误差 反馈 的 先 验 估计 误差 的 递归 LSL 算法 ,实际 上 都 是 QRD-LSL 算法 。 

QRD-LSL 算法 结合 了 递归 最 小 二 乘 估计 、QR 分 解 以 及 格 型 结构 等 许多 人 们 高 度 期 望 的 特 
性 。 因 此 , 它 提供 了 一 组 独特 的 运算 和 实现 优点 : 

© QRD-LSL 算法 具有 快速 收敛 速率 , 它 是 自 递 归 最 小 二 乘 估计 所 固有 的 。 


© QRD-LSL 算法 可 采用 一 系列 Givens 旋转 来 实现 , 它 代 表 了 QR 分 解 的 一 种 形式 。 而 且 ， 
QR 分 解 好 的 数值 特性 意味 着 QRD-LSL 算法 在 数值 上 是 稳定 的 。 
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e QRD-LSL 算 法 提供 了 很 高 的 计算 效率 ,因为 其 复杂 度 是 M 阶 的 ,其 中 M 为 最 终 预 测 阶 
数 ( 即 可 用 的 自由 度数 )。 

o QRD-LSL 算法 的 格 型 结构 本 质 上 是 模块 化 的 ,这 意味 着 增加 预测 阶 数 时 不 需要 计算 所 
有 前 面 的 值 。 当 不 存在 关于 预测 阶 数 最 终 值 的 先 验 知识 时 ,这 一 性 质 将 特别 有 用 。 

e QRD-LSL 算法 模块 化 结构 的 另 一 种 实现 方法 就 是 采用 超大 规模 集成 电路 (VLSI: very 
large-scale integration) ER ,通过 硬件 实现 。 当 然 , 只 有 当 感 兴趣 的 应 用 要 求 使 用 大 量 的 
VLSI 芯片 时 ,采用 这 种 复杂 的 技术 才 是 合理 的 。 

© QRD-LSL 算法 还 包括 一 组 必 备 的 期 望 变量 和 参数 ,它们 对 于 信号 处 理应 用 很 有 用 。 有 具 
体 来 说 ,该 算法 提供 了 下 面 两 组 有 用 的 副 产 物 : 

o 角度 归 一 化 前 .后 向 预测 误差 
o 用 于 间接 计算 前 、 后 向 反射 系数 和 回归 系数 ( 即 抽 头 权 值 ) 的 辅助 参数 


递归 LSL 算法 具有 许多 QRD-LSL 算 法 的 特性 , 即 快速 收敛 性 模块 性 以 及 用 于 信号 处 理 


的 一 系列 有 用 的 参数 和 变量 。 然 而 ,递归 LSL 算 法 的 数值 特性 取决 于 其 组 成 中 是 否 包含 误差 
反馈 ;这 一 问题 将 在 第 13 章 讨 论 。 


本 章 讲述 的 阶 递归 自 适应 滤波 器 的 计算 优势 超过 前 面 章节 讨论 的 平方 根 自 适应 滤波 器 : 


对 于 阶 递归 滤波 器 ,其 计算 费用 随 调 节 参 数 呈 线性 增长 。 而 对 平方 根 滤波 器 ,计算 费用 随 调 节 
参数 的 平方 增长 。 然 而 , 阶 递归 自 适应 滤波 器 限于 可 利用 输入 信和 号 时 移 特性 的 时 间 信 号 处 理 
应 用 。 相 比 之 下 ,平方 根 自 适应 滤波 器 可 用 于 时 间 和 空间 信和 号 处 理应 用 。 


12.16 习题 


1. 


从 式 (12.4) 的 代价 函数 Jr 出 发 ,导出 Jun 相对 于 式 (12.5) 给 出 的 反射 系数 en 的 偏差 。 


2， 作 为 第 12.1 节 中 用 来 导出 式 (12.14)GAL 递归 关系 式 的 一 种 替代 ,可 尝试 进行 下 列 工作 : 


首先 ,用 k(n) 代替 式 (12.12) 和 式 (12.13) 中 的 en (n - 1) ,如 下 所 示 
fann) = fu-1(n) + K#(n)bn-i(n 1) 
baln) = bya(n — 1) + Kn(n)fn-i(n) 
其 次 ,通过 式 (12.7) 中 交叉 项 相 乘 过 程 并 简化 其 结果 ,可 导出 更 新 反射 系数 的 递归 关系 式 


人 — aA fin-1(1) Bn (A) + bm_i(n 1)f%(n) 
Km(n) = Kn(n — 1) Bn 1) m= 1,2,...,M 


其 中 ,&,_1(n 一 1) 在 式 (12.9) 中 定义 ,只 不 过 用 n -1 代替 了 n。 试 做 如 下 事情 : 

(a) 导出 «,, (nn) 的 替代 递归 表达 式 。 

(b) 给 定 这 道 习题 介绍 的 方程 ,说 明 为 什么 这 种 算法 计算 上 是 不 切实 际 的 ,并 据 此 证 明 式 
(12.14) 的 正确 性 。 

试 证 明 参 数 





Ym(n) = 1 — kp (n)un(1) 


等 于 从 使 用 图 12.6 横向 滤波 器 得 出 的 加 权 误 差 平方 和 ,该 滤波 器 的 抽 头 权 向 量 等 于 增益 
向 量 k,(n) ,而 抽 头 输入 向 量 等 于 u,,(n); 并 设计 一 个 滤波 器 以 便 产生 等 于 式 (12.43) 中 
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第 一 座 标 向 量 的 期 望 向 量 的 最 小 二 乘 估计。 


， 令 ,ln) 表 示 n 时 刻 抽 头 输入 向 量 us(z) 的 时 间 平 均 相 关 函 数 , 对 于 O, Cn - 1) 也 同样 。 


试 证 明 变换 因子 为 
det|®,,(n — 1)] 
det[®,,(7) | 
其 中 A 是 指数 加 权 因 子 。[ 提 示 : 使 用 恒等式 
det(I, + AB) = det(I, + BA) 
其 中 五 Ll 为 合适 维 数 的 单位 阵 , 而 A 和 了 B 为 相 容 维 数 的 矩阵 。] 





Ym(n) =A 


. (a) 证 明 Dni (nr) RE AT ea 


-1 _| 0 Or 1 H 
| gant | + saat) 
其 中 0, 为 Mx1 零 向 量 ,07 Wy HORE LEE Sn (nm) 是 最 小 加 权 前 向 预测 误差 平方 和 ， 
而 as(m) 是 前 向 预测 误差 滤波 器 的 抽 头 权 向 量 。au (nME a (n) 的 预测 阶 数 均 为 m。 
(b) 证 明 四 (mn ) 的 道 矩阵 可 表示 为 

anu = | PUO ed 
其 中 (nn) 是 最 小 加 权 后 向 预测 误差 平方 和 ,而 e, (n) EIS ATRE E HSL 
PLA. cn (nn) 和 多 。(n) 的 预测 阶 数 均 为 m。 





， 导出 如 下 变换 因子 的 更 新 公式 


AO 
#,(n) 
AO 
B,,( 1) 





Ym+1(n) = yn(n 1) 





Ym+1(n) = Ym(7) 


_ | Fm(n ~ 1) 
Ym+1(n) =A F,,(n) Ym(n ~ 1) 
Bn(n — 1) 
Bn) Ym( 7) 








Ym+1(7) =A 


. (a) 从 式 (12.30) 出 发 并 利用 式 (12.29) 的 正 交 条 件 ,推导 计算 前 向 预测 误差 能 量 的 时 间 更 


新 方程 (12.31)。 
(b) 从 式 (12.41) 出 发 并 利用 式 (12.40) 的 正 交 条 件 ,推导 计算 后 向 预测 误差 能 量 的 时 间 更 
新 方程 (12.42)。 


， 式 (12.69) 介 绍 了 更 新 指数 加 权 互 相关 A _1(n) 的 一 种 方法 。 等 效 地 ,可 采用 更 新 方程 


Amn) = AAm-i(n 一 1) + fa-i(mBni(n — 1) 
从 而 ,可 推断 出 等 效 性 
fm-t Bn-i(n = 1) = Mr-iln)ba-i(n) 
(a) 从 式 (12.54) 定 义 出 发 并 遵照 类 似 于 第 12.6 节 所 采用 的 步骤 ,导出 这 个 问题 中 介绍 的 
A。i(zn) 的 第 二 个 递归 关系 式 。 
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(b) 使 用 第 12.5 节 介绍 的 变换 因子 的 表示 ,证明 所 给 出 的 涉及 前 向 和 后 向 预测 误差 的 先 
验 和 后 验 形式 的 等 效 性 。 

， 在 本 题 中 ,我们 利用 导出 用 来 计算 Au-:(z) 的 时 间 更 新 方程 (12.69) 的 另 一 种 步骤 (尽管 复 

杂 得 多 ) 。 

Ca) 从 前 向 线性 预测 的 增 广 正则 方程 


astaat = R ] 
出 发 ,并 利用 展开 式 
: on 
®,.4.:(") = | testeteeetaeeeee : 网 _ 
b(n) i a(n) 
证 明 
Fn-1(n) 
Pant oes” | -| 0 | 
Am-1(7) 
其 中 


Am-i(7) = p7 (n)am-(n) 
(b) 证 明 A。:(z) 的 这 个 新 定义 等 效 于 式 (12.54) 的 定义 。 
(c) 增 广 正 则 方程 可 写 为 等 效 形 式 
ee =| ao | 
其 中 @, ,1(n) 为 
an(n) | f(n) 
Bn) = | eee i ns - 
,(n) i ®,,(7 T 1) 
以 此 算法 为 基础 ,证 明 亦 可 写 出 
Am-1(n) 
0 一 
Pm. 0 _ 5 | = ve ,| 
(d) FEU, FAA (a) l(c) ZAR HERB Ani (n) 0 A’, (nr) EFAS BE HEY , BY 
Am-1(n) = An-i(n) 
(e) 考虑 到 向 量 a,,_1(n - 1) 的 第 一 个 元 素 等 于 1, 我 们 可 以 表示 A。i(m) 为 
An-n) = [Amn 0%, Baila 一 a 7 n| 
从 而 ,利用 递归 关系 
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y(t) = MPa — 1) + un(a) aln) 
证 明 
Smala) = Aos ealn = Demata = D| See | 
+ [0, eg in — Dansi(n) TO eee - o] 
(f) 最 后 ,利用 前 向 先 验 预测 误差 和 后 向 后 验 预测 误差 ,导出 所 期 望 的 递归 表达 式 


Am-1(n) = AA n(n ~ 1) + nn) bn-i(n ~ 1) 


10. 利用 习题 9 中 (a) 和 (c) 得 到 的 结果 ,导出 分 别 涉及 前 向 和 后 向 预测 误差 平方 和 的 阶 更 新 
递归 关系 


An-n)? 
Fm(n) = Fail) = Re 
lam- 
Bn(n) = Bn-i(n — 1) — Eaa 


11. 在 本 题 中 ,我 们 证 明快 速 预 测 方程 的 各 个 量 如 何 相互 关联 , 且 证 明 它 们 所 包含 的 参数 宛 余 
E0, 
(a) 通过 合并 来 自习 题 PERRA, 证 明 


Dn (n) a,,(n)an(1) _ Cn(n)em(n) 
k sl- Lo wat 一 “|- Fn(n) Brn (72) 
(b) 根据 第 9 章 的 递归 方程 ,加 上 式 (12.46) ,证 明 时 间 更 新 O, 可 重 写 为 


ka(n)kä(n) 
Ym(7) 








Pa(n) = AB (n — 1) 一 


其 中 Ek, (n) 是 增益 向 量 , 而 y。(m) 是 变换 因子 。 
(co) 通过 从 前 面 的 两 个 表达 式 中 消去 O, (n - 1) ,证 明 所 有 的 变量 服从 于 如 下 关系 


Pin) 0, 0 07 a„(n)až (n 0 0, km(n)]  en(n)efi(n 
| a l s] - ao, own | = O + aL te | vo - mn) 
其 中 所 有 变量 具有 共同 的 时 间 下 标 n 和 一 个 共同 的 阶 数 下 标 m。 上 式 的 左边 称 为 
@;!(n) 的 位 移 残 差 ,而 右边 是 三 个 向 量 的 和 与 差 ,但 秩 不 超过 3。 在 矩阵 理论 中 ,我 
们 说 ®:1(n) 具 有 位 移 秩 3 作为 第 8 章 所 述 数据 矩阵 特殊 结构 的 一 个 结果 。 注 意 ,这 
个 结构 成 立 与 否 与 组 成 该 数据 矩阵 的 序列 u(n) 无 关 。 
(d) 假设 我 们 用 行 向 量 [1,zWi,…,(zMWX)”] 左 乘 (e) 中 的 结果 ,并 用 列 向 量 [1,wVA，: 

(wA) E BRE HP z 和 w 是 两 个 复 变量 。 试 证 明 (e) 中 的 结 果 等 效 于 两 个 变量 
的 多 项 式 方 程 。 

(1 = zw*)P(z, wt) = A(z)A*(w) + K(z)K*(w) ~ C(z)C*(w) HAAZ w 





”这 个 问题 原来 由 P. Regalia 提出 (私人 通信 ,1995)。 
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只 要 做 如 下 对 应 
1 
P(z, w*) = [1, z/ VX, vey (ZAVA ]E; n) w^ VA 
(Ww*/ VA 
A(z) = [a/ VR a/ VAY") oe 
V&,,(n) 
及 
c( = [Laz/vVi VI] -st 
(z) = [1,z/VA,...,(z/VA) ln 


类 似 地 ,4 (w) =[ACw)]* ,等 等 。 
(e) 在 (d) 的 结果 中 令 z = w =e” ,证 明 
[ACP + (ee = |Cle)?? ”对 所 及 
即 三 个 多 项 式 4(z)、K(z) 和 C(z) 在 单位 圆 1z1 = 1 上 是 功率 互补 的 。 
({) 因为 ®@;'(n) 是 正定 的 ,证 明 如 下 必然 的 不 等 式 结果 


<0 jz] > 1 
|A(2)? + |K(z)P -IC =4=0 ld=1 
=0 lz| <1 


[ETR ÆA PA waz, HER eR i!'(n) 是 正定 的 , 则 
P(z,z*) >>0 对 所 有 Zz 
一 定 成 立 。 同 时 注意 ,中 间 等 式 等 效 于 (e) 中 的 结果 。] 

(g) 从 (中 的 不 等 式 推断 ,在 1z1 >1 内 C(z) 一 定 没有 零点 ,进而 推断 在 给 定 4(z) 和 
K(z) 的 情况 下 ,多 项 式 C(z) 通 过 谱 分 解 惟 一 地 由 (e) 确 定 ;并 证 明 , 一 旦 前 向 预测 和 
增益 已 知 , 后 向 预测 变量 对 解 没有 进一步 贡献 ,从 而 理论 上 是 元 余 的 。 

12. 在 第 12.8 节 中 ,我 们 已 导出 表 12.4 中 前 向 预测 情况 下 的 各 项 内 容 , 这 些 内 容 总 结 了 m 级 

格 型 预测 器 中 卡尔 曼 变 量 与 角度 归 一 化 LSL 变量 之 间 的 一 一 对 应 关系 。 试 推导 后 向 预测 

和 联合 过 程 估计 情况 下 该 表 所 列 各 项 。 

13. 证 明 如 下 关系 : 
(a) 联合 过 程 估计 误差 
lam(n)| = Vessel 
ang[e,,(n)| = angle,,(n)] + ang[é,,(7)] 
(b) 后 向 预测 误差 
jepm(m = Vjbn(n)) :JBn(n)) 
angles m(n)] = ang[b,(n)] + ang[6,,(n) | 

(c) 前 向 预测 误差 


14. 


15. 


16. 


20. 


21. 
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lep man)| = V [fal nal) 
angles ml(n)] = ang[f,,(n)] + ang[mm(n)] 


假设 我 们 已 经 计算 分 别 属于 Givens 变换 O,,,, (nr) O, n-i Cn - 1) 的 余弦 参数 cpm (Cn) AA 
com-1(n 一 1)。 试 证 明 变 换 因 子 y,,,1(n) 在 时 间 和 阶 数 方面 均 可 被 更 新 如 下 


yah) = Cpm( ACh, m— 1 一 y(n — 1) 


相关 和 矩阵 名 ; ,1(n) 为 右 乘 以 式 (12.73) 定 义 的 下 三 角 和 矩 阵 L, (n ) 的 埃 尔 米 特 转 置 。 证 明 
乘积 矩阵 ®,,_,(n)IL(n) 由 其 对 角 元 素 等 于 加 权 预 测 误差 平方 和 %o(n),B1(n),...， 
Bm (n) FEHER ETI, HEH ARS L, (nn)@,_1(n)L(n) 是 一 个 由 下 式 给 
出 的 对 角 阵 
Diln) = diag Bn), B,(2), ..., B,,(n) } 

FBA u(n) u(n -1),; ulan- RAYA SOL. BR 
了 一 个 标 度 因子 外 , 当时 间 n= M AE S REFERERE Re SE EEA 
REE 呈 , ,1(n)。 证 明 这 个 输入 的 对 数 似 然 函 数 包 括 一 个 等 于 参数 yy (n) 的 项 ,而 该 参 
数 与 递归 LSL 算 法 有 关 。[ 由 于 这 个 原因 ,参数 yy (n) 称 为 似 然 变量 。] 


. 给 定 输入 un -m+1),…,w(n)( 它 张 成 空间 Wi,- met) ,并 令 Qnl 纪 ,m41) 表 示 期 望 响 应 


d(n) 的 最 小 二 乘 人 和 估计。 类 似 地 ,给 定 输入 uln-m), uln-m+1), e, u(n) (ERM 
JU nm) SES d(n1I 以 。。) 表 示 该 期 望 响应 的 最 小 二 乘 估计 。 实 际 上 , 格 型 估计 利用 了 
一 个 由 输入 u(n -mm) 表 示 的 附加 片段 信息 。 证 明 这 个 新 的 信息 可 用 相应 的 后 向 预测 误 
差 65,,(n) 来 表示 ;同时 证 明 这 两 个 估计 之 间 的 关系 可 表示 为 如 下 递归 形式 

Aln Unm) = A(n Up + AE(2)b,,( 1) 


其 中 h(n) 表示 联 合 过 程 信 计 器 中 有 关 的 回归 系数 ;并 将 这 个 结果 与 第 10.1 节 涉 及 新 息 
概念 的 结果 进行 比较 。 


. S O(n) RAR A BG u(n) 的 (M+1) x(MN+1I) 相 关 和 矩阵 。 证 明 通 过 使 用 格 型 预测 器 所 


带 来 的 后 向 预测 误差 变量 的 变化 精确 地 获得 矩阵 P(n) =O, (n) 的 Cholesky 分 解 。 


. 从 卡尔 曼 滤 波 器 方程 (12.152) 出 发 ,并 利用 表 12.4 以 及 式 (12.97) 和 式 (12.99) ,导出 后 向 


反射 系数 x,,,(n) 和 联合 过 程 估计 系数 h,_,(n) 的 更 新 表达 式 (12.154) 和 和 式 (12.155), 此 
即 带 有 误差 反馈 的 递归 LSL 算法 。 
在 本 题 中 ,我 们 研究 GAL 的 推导 作为 采用 带 有 误差 反馈 的 后 验 估计 的 递归 LSL 算法 的 特 
例 。 从 表 12.7 总 结 的 算法 出 发 ,做 如 下 事情 : 
(a) 对 所 有 m 和 nn, 迫 使 
Kp.m(1) = KF (A) 
和 
ym(n) = 1 , 
(b) 在 这 个 特殊 条 件 下 ,探讨 把 表 12.7 的 递归 LSL 算法 变 为 表 12.1 的 GAL 算法 的 途径 。 
在 第 12.13 节 中 ,讨论 了 利用 误差 反馈 的 一 种 形式 来 修改 先 验 误差 LSL 算法 。 本 题 中 ,我 
们 考虑 后 验 LSL 算 法 的 相应 修改 形式 。 试 证 明 
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_ Yn(n — 1) _ 1 bmiln — 1)f%-i(n) 
pn) Tn 1) Bat D in ynan — 可 | 
和 
O Yan) © 1 falban) 
“om = (a1) [rant Dn 1)ym tn — 可 | 


22. 归 一 化 LSL 算 法 的 总 结 如 下 
Anan) = Ayala DU S- Fol) PP [1 = [Bin -DPE + By ale — DFS a(n) 
bm_i(n 一 二 ) 一 Ant) F m1(n) 
[1 — [BaP] 1 — Finale) PP? 
= Fm") 7 Atla) bmlan — 1) 





bmn) 











PD = E a PY Barn -DPT 
归 一 化 参数 定义 为 7 
Fun) = Haya -1) 
Bln) = lm") _ 
Ba (nyd (n) 
和 
Kn) = sae 


Fa (NBH (N — 1) 


导出 定义 归 一 化 LSL 算法 的 递归 关系 式 。 


面向 计算 机 的 实验 


23. 在 本 题 中 ,我 们 使 用 一 阶 自 回归 (AR) 过 程 u(n ) 来 研究 自 适应 预测 ,要 考虑 的 目标 为 : 
© 计算 在 表 12.1 中 总 结 的 CAL 算法 的 性 能 。 
o 在 类 似 应 用 条 件 下 比较 这 种 算法 与 LMS 算法 的 性 能 。 
对 于 第 5.6 节 所 述 的 两 组 相同 条 件 ,进行 以 下 计算 (基于 学 习 曲 线 ) : 
1) AR 参数 :ga= -0.9 ` 
AR 过 程 u(n) AIH: o, = 0.93627 
2) AR 参数 .a = +0.99 
AR 过 程 u(n) ATH: o, =0.995 
利用 GAL 算法 完成 该 计算 并 将 计算 结果 与 第 5.6 节 LMS 算法 ( 步 长 参数 u =0.05) 的 结果 


比较 ,对 于 GAL 算法 ,采用 如 下 初始 化 参数 
， B = 0.9 


pe = 0.25 

ô = 0.01 

a = 0.01 
24. 重复 上 题 中 关于 自 适应 预测 的 计算 机 实验 ,但 这 时 做 如 下 调整 ; 

: © 使 用 基于 带 误差 反馈 的 先 验 估计 误差 的 递归 LSL 算法 ,如 表 12.7 所 总 结 的 (但 这 里 
à =1)。 对 于 调整 参数 ,选用 6 =0.01。 

© 比较 递归 LSL 算法 与 上 题 用 过 的 GAL 算法 的 学 习 曲 线 。 
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采用 数字 方式 实现 自 适应 滤波 器 时 会 产生 量化 误差 或 伟人 误差 。 如 不 讨论 这 些 因素 对 其 
性 能 的 影响 ,对 自 适应 滤波 器 的 研究 将 是 不 完整 的 。 

在 前 面 章 节 的 自 适 应 滤波 理论 研究 中 ,都 假设 利用 模拟 模型 ( 即 具 有 无 限 精 度 的 模型 ) 来 
产生 输入 数据 的 采样 值 并 进行 内 部 的 算术 运算 。 做 这 一 假设 ,是 为 了 吸取 大 家 熟悉 的 连续 数 
学 的 优点 。 然 而 , 自 适应 滤波 器 理论 不 能 直接 用 来 构造 自 适应 滤波 器 ,相反 , 它 只 是 为 这 种 构 
造 提供 一 个 理想 化 框架 。 特 别 地 , 当 实 际 中 自 适应 滤波 算法 用 数字 方式 实现 时 ， 输入 数据 与 内 
部 运算 都 要 量化 为 有 限 精 度 ,其 精度 由 设计 和 费用 决定 。 因 此 ,量化 过 程 将 会 影响 算法 数字 实 
现 的 性 能 ,使 该 性 能 偏离 其 理论 值 。 偏 离 的 状况 受 以 下 诸 因 素 的 综合 影响 : 


© 自 适 应 滤波 算法 的 设计 细节 
o 表征 输入 数据 的 基本 相关 甜 阵 的 病态 程度 ( 即 特征 值 扩散 的 程度 ) 
© 采用 的 数字 计算 的 形式 (定点 或 浮 点 ) 


对 我 们 来 说 ,了 解 自 适应 滤波 算法 的 数值 特性 是 很 重要 的 ,因为 这 有 助 于 我 们 根据 设计 规 
范 设计 出 相应 的 算法 。 此 外 ,一 个 算法 数字 实现 的 费用 受到 与 算法 有 关 的 数值 计算 所 允许 的 
可 用 比特 数 ( 即 精度 ) 的 影响 。 一 般 来 说 ,数字 实现 的 费用 随 着 所 用 比特 数 的 增加 而 增加 。 因 
此 ,数字 实现 中 一 个 十 分 现实 的 考虑 是 使 用 可 能 的 最 少 比 特 数 。 

下 面 ,我 们 从 考察 量 比 误差 的 来 源 以 及 数值 稳定 性 和 精度 的 相关 问题 人 手 , 来 研究 自 适应 
滤波 算法 的 数值 特性 。 


13.1 量化 误差 


当 用 数字 方式 实现 自 适应 滤波 器 时 ,量化 误差 基本 上 来 源 于 以 下 两 个 方面 : 


1) 模 / 数 转换 ”假如 输入 数据 以 模拟 方式 给 出 ,那么 我 们 可 以 使 用 模 / 数 转换 器 将 它们 表 
示 为 数字 形式 。 这 里 ,我 们 假设 用 均匀 步 长 3 进行 量化 ,并 且 在 0, +8, + 28,… 处 设 
定 了 一 组 量化 等 级 。 一 个 典型 的 均匀 量化 器 的 输入 输出 特性 如 图 13.1 所 示 。 考 察 量 
化 器 输入 端的 一 个 特定 的 采样 值 , 其 幅 值 介 于 i- (8/2) 到 六 +(8/2) 之 间 , 这 里 i 是 
一 个 整数 ( 正 数 ,负数 或 零 ) ,而 id 则 定义 了 量化 器 的 输出 。 这 一 量化 过 程 引入 了 一 个 
以 浴 为 中 心 , 宽 为 6 的 不 定 区 域 。 若 用 y 表示 量化 误差 , 则 量化 器 的 输入 为 D+ HE 
中 - 8/2< ?< 8/2。 当 量化 非常 精细 ( 即 有 64 个 或 更 多 的 量化 等 级 ) 且 信 导 频谱 也 委 
丰富 时 ,由 量化 过 程 产生 的 失真 则 可 建 模 为 一 个 均值 为 0 方差 由 量化 器 的 滥 炉 3 决 
定 的 独立 加 性 白 噪声 源 (Gray, 1990)。 通 常 假设 量化 误差 在 ( - 8/2 到 al 
分 布 , 则 量化 误差 的 方差 可 为 T 





ee 
Es ¥ 


$ 
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(13.1) 
12 

通常 假设 量化 器 输入 按 适 当 的 比例 标 度 ,使 得 它 位 于 区 间 ( -1, +1]. WRA B 
比特 加 上 一 个 符号 表示 每 个 量化 级 , 则 量化 器 的 步 长 为 


6=23 (13.2) 
将 式 (13.2) 代 入 式 (13.1) 可 知 ,由 输入 模拟 数据 的 数字 表示 所 产生 的 量化 误差 的 方 
差 为 

2 2728B 


o = (13.3) 


12 








输入 








图 13.1 均匀 量化 器 的 输入 输出 特性 


2) 有 限 字 长 运算 ”在 数字 系统 中 ,通常 用 有 限 字 长 来 存储 内 部 算术 运算 的 结果 。 假 如 在 
计算 过 程 中 没有 溢出 , 则 加 法 不 会 引入 任何 误差 (如 果 使 用 定点 运算 ) , 而 每 次 乘法 在 
对 乘积 进行 量化 后 会 引入 误差 。 有 限 字 长 计算 误差 与 模 / 数 转换 误差 的 统计 特性 完全 
不 同 。 因 为 有 限 字 长 计算 误差 是 为 了 与 指定 的 字 长 相 匹配 ,而 对 乘法 器 的 输出 进行 会 
人 或 截断 操作 而 产生 的 ,因此 其 均值 可 能 不 为 零 。 


在 自 适 应 滤波 器 数字 实现 中 ,特别 是 当 滤 波 器 的 抽 头 权 值 (系数 ) 按 照 连 续 方式 更 新 时 ,人 
们 格外 关注 有 限 字 长 运算 所 带 来 的 问题 。 数 字 滤 波 器 会 对 这 种 误差 呈现 特殊 的 响应 或 传播 ， 
从 而 使 其 性 能 偏离 理想 (无 限 精 度 ) 的 滤波 器 。 实 际 上 ,使 用 有 限 精度 运算 产生 的 误差 会 无 限 
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累加 ,因此 这 种 偏离 可 能 会 造成 非常 严重 的 后 果 。 如 果 这 种 情况 允许 存在 的 话 ,滤波 器 最 终 将 
进入 洲 出 状态 ,我 们 就 说 该 算法 是 数值 不 稳定 的 。 显 然 , 一 个 自 适应 滤波 器 要 有 实用 价值 , 它 
必须 是 数值 稳定 的 。 如 果 自 适应 滤波 器 使 用 有 限 精 度 计算 时 ,相对 于 无 限 精度 滤波 器 所 产生 
的 偏离 是 有 界 的 ,那么 这 种 滤波 器 就 是 数值 稳定 的 。 值 得 注意 的 是 ,数值 稳定 是 自 适应 泪 波 器 
的 固有 特征 。 换 言 之 ,如 果 一 个 自 适应 滤波 器 数值 不 稳定 ,增加 滤波 器 数字 实现 时 的 比特 数 并 
不 能 使 它 变 为 稳定 。 

用 数字 形式 实现 自 适 应 滤波 器 时 要 注意 的 另 一 个 问题 是 数值 精度 问题 。 然 而 ,与 数值 稳 
定性 不 同 , 自 适应 滤波 器 的 数值 精度 是 由 实现 滤波 器 内 部 运算 的 比特 数 决定 的 。 所 用 的 比特 
数 越 多 ,其 性 能 与 理想 性 能 的 偏差 就 越 小 ,数字 滤波 器 就 越 精确 。 就 实用 而 言 , 仅 当 自 适 应 滤 
波 器 数值 稳定 时 ,讨论 它 的 数值 精度 才 有 意义 。 

下 面 ,我 们 将 讨论 自 适 应 滤波 算法 的 数值 特性 和 相关 问题 。 与 本 书 中 前 面 章节 的 顺序 一 
样 ,我 们 先 讨论 LMS 算法 ,然后 再 讨论 RLS 自 适 应 滤波 算法 。 


13.2 最 小 均 方 算法 


为 了 简化 讨论 有 限 精度 对 LMS 算法 性 能 影响 ,我 们 将 不 按照 前 面 章节 中 的 模式 ,而 是 假 
设 输入 数据 及 滤波 器 系数 都 取 实 数 。 做 这 一 假设 ,仅仅 是 为 了 便于 表述 ,并 不 影响 结论 的 有 效 
性 。 

有 限 精 度 最 小 均 方 (LMS) 算 法 的 原理 框图 如 图 13.2 所 示 。 标 有 Q 的 每 个 方 框 ( 算 子 ) 表 
示 一 个 量化 器 。 每 个 量化 器 自身 都 要 引信 一 个 量化 或 伟人 误差 。 我 们 可 以 将 图 中 量化 器 的 输 
人 入 输出 关系 描述 如 下 : 


1) 对 于 与 相连 的 输入 量化 器 ,我 们 有 
u(n) = Ofu(n)] 
= u(n) + m(n) 
式 中 WL.(n) 是 输入 量化 误差 向 量 。 
2) 对 于 与 期 望 响应 4(n) 相 连 的 量化 器 ,有 
d,(n) = Qld(n)] 
= d(n) + n(n) 
式 中 (nn) 是 期 望 响 应 量化 误差 。 
3) 对 于 量化 的 抽 头 权 向 量 W,(n), 可 写 出 


(13.4) 


(13.5) 





O Gitlin 等 于 1973 年 首先 研究 了 有 限 精度 对 LMS 算法 的 影响 。 随 后 。Weiss 和 Mitra(1979) .Caraiscos 和 Liu(1984) 以 及 
Aijexander(1987) 对 此 进行 了 更 加 详细 的 研究 。 由 Caraiscos 和 Liu 撰写 的 论文 讨论 了 稳定 状态 的 条 件 ,而 由 Alexander 
撰写 的 论文 涉及 的 范围 则 更 广 , 因 为 该 文 还 讨论 了 瞬 态 条 件 。Cioffi(1987) 以 及 Sherwood 和 Bershad(1987) 也 在 各 自 
的 论文 中 讨论 了 有 限 精 度 对 LMS 算法 影响 的 问题 。 在 实际 使 用 LMS 算法 时 遇 到 的 另 一 个 问题 就 是 参数 偏差 。 
Sethares 等 (1986) 就 在 他 们 的 论文 中 讨论 了 这 个 问题 。 第 13.2 节 列 出 的 材料 在 很 大 程度 上 受 这 些 论文 内 容 的 影 
响 。 在 此 ,我 们 假设 使 用 定点 算术 。Caraiscos 和 Liu 于 1984 年 分 析 了 使 用 浮 点 算术 的 LMS 算法 的 误差 。 
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wn) = Ol w(n)| 
= w(n) + Aw(n) 


式 中 w(z) 是 无 限 精度 LMS 算法 中 的 抽 头 权 向 量 ,Aw(n) 是 由 量化 引起 的 抽 头 权 误差 
向 量 。 


(13.6) 


d(n) 


u(n) E 





控制 机 制 


图 13.2 表述 有 限 精 度 LMS 算法 的 框图 
4) 对 于 与 由 量化 的 抽 头 权 向 量 w, (”) 所 表征 的 与 横向 滤波 器 的 输出 相连 的 量化 器 , 可 写 
出 
y(n) = Qlu (n) (n)] 
= w (n)W(n) + n(n) 
SRP y (n) EW HH EERE. 
有 限 精 度 LMS 算法 可 用 如 下 关系 式 来 描述 , 即 
e€q(n) = dg(n) — y(n) (13.8) 


(13.7) 


Wln + 1) = (n) + Olpe,(n)u,(n) | (13.9) 


式 中 oy, (nz) 由 式 (13.7) 定 义 。 


图 13.2 中 没有 明确 表示 出 式 (13.9) 右 边 所 示 的 量化 运算 ,然而 , 它 却 是 有 限 精 度 LMS 算 


法 中 的 一 项 基本 运算 。 使 用 式 (13.9) 的 实际 意义 如 下 :乘积 pe (mn)u (mn) 是 梯度 向 量 的 一 个 
估 值 ,首先 要 对 它 进行 量化 ,然后 加 到 抽 头 权 值 累 加 器 中 。 另 一 种 方法 是 , 先 以 双 精度 模式 操 
作 抽 头 权 值 累 加 器 ,然后 以 单 精度 模式 对 累加 器 的 输出 进行 量化 。 由 于 受 硬件 实现 条 件 的 限 
制 ,因此 优先 选用 前 一 种 方法 。 


在 对 有 限 精 度 LMS 算法 进行 统计 分 析 时 ,通常 做 如 下 假设 : 


1) 在 滤波 时 ,为 了 防止 经 量化 后 的 抽 头 权 向 量 w, (n) 和 y(n) 发 生 溢出 ,要 用 适当 的 比 
例 对 输入 数据 标 度 。 
2) 每 个 数据 的 样 值 用 B。 比特 加 上 一 个 符号 表示 ,而 每 个 抽 头 权 值 用 By 加 上 一 个 符号 
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表示 。 与 一 个 符号 加 By 比特 (样本 数据 ) 相 关 的 量化 误差 的 方差 可 表示 为 
2-2Bp 
12 
类 似 地 ,与 Bw 比特 加 一 个 符号 ( 即 抽 头 权 值 ) 相 关 的 量化 误差 的 方差 可 表示 为 
2-28w 
ow 一 EDE 
3) 输入 数据 量化 误差 向 量 n(n ) 的 各 分 量 与 期 望 响应 量化 误差 my,(n) 是 彼此 相互 独立 
的 白 噪声 序列 ,而 且 与 输入 信号 无 关 。 其 均值 为 零 ,方差 为 obo 
4) 输出 量化 误差 mp,(n) 是 与 输入 信号 独立 并 与 其 他 量化 误差 独立 的 白 噪声 序列 ,而 且 其 
均值 为 零 , 方 差 为 co5, 这 里 ec 是 一 个 取决 于 计算 内 积 W (nn)w,(n) 方 式 的 常数 。 如 果 
ur(z)w, (mn) 中 的 各 个 标量 积 都 未 经 量化 就 进行 计算 ,然后 再 求 和 , 且 如 果 最 终 的 结果 
量化 为 B 比特 加 一 个 符号 ,那么 常数 c 就 等 于 1, 而且 wy,(n) 的 方差 就 是 由 式 (13.10) 
定义 的 oh. FAR, REM mw (nm)w,(n) 中 的 各 个 标量 积 进行 量化 ,然后 再 求 和 ,那么 
常数 oc RSF M.A wy,(n) 的 方差 等 于 Mo5 ,其 中 M 是 实现 LMS 算法 的 横向 滤波 器 的 
抽 头 数 。 
5) 引用 第 5.4 节 中 研究 无 限 精度 LMS 算法 时 使 用 的 小 步 长 理论 。 
13.2.1 总 输出 均 方 误差 
由 有 限 精 度 LMS 算法 产生 的 y (n) 是 期 望 响应 量化 后 估 值 。 因 此 ,总 输出 误差 等 于 
d(n) -y(n)。 由 式 (13.7), 可 将 该 误差 表示 为 
ewal) = d(n) — y(n) 
= d(n) — uj(n)wW,(n) — n(n) 


将 式 (13.4) 和 式 (13.6) 代 人 式 (13.12) ,并 忽略 所 有 高 于 一 阶 的 量化 误差 项 , 则 总 输出 误差 可 表 
示 为 





(13.10) 


o= 


(13.11) 


(13.12) 


| Coala) = [d(n) — u (n)&(n)] — [AW (n)u(n) + wian) + mp 13.13) 
上 式 右 边 的 第 一 对 方 括号 内 的 各 项 是 由 无 限 精度 LMS 算法 产生 的 估计 误差 e(n)。 第 二 对 方 
括号 内 的 各 项 是 完全 由 有 限 精度 LMS 算法 产生 的 量化 误差。 根据 假设 3 和 假设 4[ 即 量化 误 
ny, (n) Ml n(n) 与 输入 信号 独立 , 且 彼 此 相互 独立 ] ,与 量化 误差 有 关 的 各 项 Aw”(n)u(n) 和 和 
(nn) 是 徙 此 不 相关 的 。 同 理 ,无 限 精度 估算 误差 e(n) 与 9Xn)w(n) 和 1n,(n) 都 不 相关 。 由 
第 5 章 的 小 步 长 理论 可 以 得 到 
E[e(n)Aw? (n)u(n)] = E[AWT(n)]Ele(n)u(n)] 

此 外 , 由 该 理论 可 以 证 明 数 学 期 望 E[Aw(n)] 为 零 ( 见 习题 2)。 因 此 ,e(n) 与 
Aw”(n)u(n) 也 是 不 相关 的 。 换 言 之 ,无 限 精度 误差 e(n) 与 式 (13.13) 中 的 三 个 量化 项 
Aw" (n)u(n) n 4)w(n) 和 p(n) 都 不 相关 。 

利用 这 些 结论 并 假设 步 长 参数 u 很 小 ,Caraiscos 和 Liu(1984) 证 明了 由 有 限 精 度 算法 产生 
的 总 输出 均 方 误差 由 三 个 稳 态 成 分 构成 , 即 
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E| eh aln)] = Jmin( l + M) + ilo, u) + £,(03) (13.14) 


式 (13.14) 右 边 的 第 一 项 Jan (1 + 以) 是 无 限 精 度 LMS 算法 的 均 方 误差 。 特 别 地 , J 是 最 优 维 
纳 滤波 器 的 最 小 均 方 误差 ,而 包 是 无 限 精度 LMS 算法 的 失调 。 第 二 项 &.(05 ,w) 是 由 量化 的 抽 
头 权 向 量 Ww,(n) 的 误差 Aw(n) 引 起 的 。 这 部 分 对 总 输出 均 方 误差 的 影响 与 步 长 参数 y 成 反 
比 。 第 三 项 &.(o5 ) 是 由 两 个 量化 误差 引起 的 ,它们 分 别 是 量化 后 的 输入 向 量 u (n) 的 误差 
W,(n) 和 量化 后 的 滤波 器 输出 y,(n) 的 误差 (nn)。 与 名 《04,4) 不 同 ,在 一 阶 近似 下 ,最 后 一 
项 对 总 输出 均 方 误差 的 影响 与 步 长 参数 A 无 关 。 

由 第 5 章 介绍 的 LMS 算法 的 无 限 精 度 统计 定理 可 知 , 减 小 py 可 降低 失调 机 ,从 而 改进 该 
算法 的 性 能 。 相 反 , 式 (13.14) 中 的 名 (os ,4) 项 与 p 成 反比 ,这 意味 着 减 小 w 的 值 会 增加 有 
限 精 度 算法 的 性 能 偏离 无 限 精 度 算法 性 能 的 程度 ( 即 偏离 更 大 )。 因 此 , 事 际 上 步 长 参数 p A 
能 下 降 到 某 个 数量 级 :在 该 数量 级 上 :有 限 精度 LMS 算法 抽 头 权 值 量 化 误差 对 自 适 应 滤波 器 
性 能 的 影响 将 严重 恶化 。 

由 于 失调 人 儿 随 u 的 减 小 而 下 降 , 而 £ Cono u) BE p 的 减 小 而 增加 ,因此 可 以 从 理论 上 求 出 
使 式 (13.14) 的 总 输出 均 方 误差 最 小 时 jy 的 最 优 值 。 然 而 ,由 此 得 到 的 步 长 参数 w 的 最 优 值 
po 的 数值 太 小 ,无 实用 价值 。 换 言 之 ,这 个 Am 不 能 使 LMS 算法 完全 收 合 。 事 实 上 ,计算 总 输 
出 均 方 误差 的 式 (13.14) 也 仅 当 jy 远大 于 jy 时 才 有 效 。 以 这 种 方式 选择 py 可 以 防止 算法 出 现 
所 谓 的 停顿 现象 ,我 们 将 在 后 面 加 以 阐述 。 


13.2.2 算法 收敛 期 间 的 偏差 


在 假设 算法 达到 稳定 状态 的 条 件 下 , 式 (13.14) 描 述 了 有 限 精度 LMS 算法 总 输出 均 方 误差 
的 一 般 结构 。 然 而 ,在 算法 收敛 期 间 , 其 表示 形式 更 为 复杂 。Alexander(1987) 详 细 研 究 了 有 限 
精度 LMS 算法 的 瞬 态 自 适应 特性 ,特别 是 推导 了 有 限 精度 LMS 算法 的 抽 头 权 值 失调 或 扰动 的 
一 般 公式 ,并 相对 于 无 限 精度 LMS 算法 求 出 的 抽 头 权 值 解 对 这 一 公式 进行 了 测试 。 抽 头 权 值 
失调 定义 为 





W(n) = E[Aw'(n)Aw(n) | (13.15) 
式 中 抽 头 权 误 差 向 量 定义 为 [ 见 式 (13.6)] 
Aw(n) = w,(n) — W(n) (13.16) 


式 中 Ww,(n) 和 w(n) 分 别 是 有 限 精 度 和 无 限 精度 LMS 算法 的 抽 头 权 向 量 。 为 了 确定 W(z) ,将 
式 (13.9) 的 权 值 更 新 方程 表示 为 
Waln + 1) = Wn) + pean)ugn) + Wln) (13.17) 
式 中 n (nv) SERGE RELIES HE, 它 是 由 量化 pe, (mn)u (mn) 而 产生 的 ,此 乘积 项 与 梯度 向 量 
估 值 有 关 。 假 设 Wj,(n) 的 各 分 量 与 时 间 无 关 , 彼 此 之 间 也 互 不 相关 ,并 假设 各 分 量 的 方差 皆 为 
oz 。 要 使 这 一 假设 有 效 ,必须 使 步 长 参数 p 足够 大 以 防止 算法 出 现 停顿 现象 。 算 法 出 现 停顿 
的 问题 将 在 本 节 的 后 续 部 分 讨论 。 
类 似 于 第 5.4 节 中 所 述 方法 对 式 (13.17) 中 的 w, (mn) 进 行 正 交 变 换 , 就 可 以 研究 抽 头 权 值 
失调 W(n) 在 自 适应 和 稳 态 期 间 的 传播 特性 。 利 用 这 一 方法 , Alexander(1987) 导 出 了 如 下 所 述 
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的 重要 理论 成 果 ( 已 通过 计算 机 仿真 证 实 了 这 些 成 果 ): 


1) Æ LMS 算法 的 所 有 参数 中 , 抽 头 权 值 对 量化 最 敏感 。 对 于 不 相关 输入 数据 的 情况 , 方 
差 o[ 它 作为 抽 头 权 值 更 新 方程 (13.17) 统 计 特 性 的 一 部 分 ] 与 乘积 r(0) jy 的 倒数 成 
正比 ,这 里 r(0) 是 平均 输入 功率 ,y 是 步 长 参数 ;对 于 输入 数据 相关 的 情况 ,方差 c* 与 
ju 的 倒数 成 正比 ,这 里 1 是 输入 数据 向 量 Cn) AKERE R 的 最 小 特征 值 。 

2) 当 输 入 数据 不 相关 时 , 抽 头 权 值 失调 W (nm) 的 自 适 应 时 间 常 数 在 很 大 程度 上 取决 于 步 
长 参数 y 所 取 的 值 。 

3) 当 输 入 数据 相关 时 ,W(n) 的 自 适应 时 间 常 数 在 很 大 程度 上 取决 于 jy 和 最 小 特征 值 
Am 之 间 相 互 作用 的 结果 。 


从 设计 的 观点 来 看 ,不 选择 太 小 的 u 值 是 很 重要 的 ,尽管 在 LMS 算法 的 无 限 精度 理论 中 
建议 使 用 较 小 的 x 值 。 此 外 ,输入 过 程 wm) 的 病态 程度 越 严重 , 当 用 数字 方式 实现 LMS 算法 
时 ,有 限 精 度 的 影响 就 越 明 显 。 


13.2.3 泄漏 LMS 算法 


为 了 进一步 使 LMS 算法 的 数字 实现 稳定 ,可 以 使 用 所 谓 泄漏 (leaky)@。 泄 漏 技术 基本 上 
防止 了 有 限 精度 环境 下 的 溢出 , 它 通过 最 小 化 均 方 误差 与 抑制 自 适 应 滤波 器 脉冲 响应 中 能 量 
之 间 的 折 中 来 达到 这 个 目的 。 然 而 ,与 传统 的 无 限 精度 LMS 算法 相 比 ,此 类 防止 游 出 的 方案 
则 要 付出 增加 算法 实现 的 硬件 费用 和 降低 算法 性 能 的 双重 代价 。 
泄漏 LMS 算法 的 代价 函数 可 表示 为 
J(n) = e(n) + allw(n)|? (13.18) 

RP a 是 一 个 正 的 控制 参数 , 它 相对 于 抽 头 权 向 量 Ww(n) 进 行 最 小 化 。 等 式 右边 的 第 一 项 是 
估计 误差 的 平方 ,第 二 项 是 抽 头 权 向 量 W(n) 中 包含 的 能 量 。 按 照 此 处 (限于 实数 据 ) 所 述 的 
最 小 化 ,将 得 到 如 下 抽 头 权 向 量 的 时 间 更 新 方程 ( 见 第 5 章 习 题 8) 

Wn +1) = (1 ~ pa)W(n) + ne(n)u(n) (13.19) 
RF a 是 一 个 常数 , 它 满足 以 下 条 件 


0<a<i 
B 


除了 与 式 (13.19) 右 边 第 一 项 有 关 的 泄漏 因子 (1 - ya) 外 ,该 算法 具有 与 传统 的 LMS 算法 相同 
的 数学 表达 式 。 
注意 , 式 (13.19) 中 包含 的 泄漏 因子 (1 - y a) 与 输入 过 程 w(n) 中 加 入 一 个 均值 为 零 、 方 差 





O ”泄漏 可 以 看 做 增强 算法 鲁 棱 性 的 一 种 技术 (Ioannou & Kokotovic, 1983; Ioannou，1990)。 有 关 泄 漏 技 术 在 自 适 应 滤波 
中 的 应 用 历史 ,可 参见 Cioffi (1987) 撰 写 的 论文 。 要 研讨 泄漏 LMS 算法 ,可 参见 Widrow 和 Siearns(1985 ) 及 Cioffi 
(1987) 撰 写 的 论文 。 
遗憾 的 是 ,因为 溢 汤 技术 增加 了 权 值 估计 的 偏差 ,因此 泄漏 LMS 算法 的 性 能 会 有 所 下 降 。Nascimento 和 Sayed( 1999) 
通过 提出 一 种 修正 的 LMS 算法 , 即 循环 泄漏 LMS 算法 解决 了 偏差 和 权 值 漂移 这 两 个 问题 。 这 种 新 的 自 适 应 滤波 算 
法 在 权 值 估计 时 无 需 引 人 偏差 就 可 以 解决 权 值 漂移 问题 ,而 算法 的 计算 复杂 度 与 传统 的 LMS 算法 基本 相同 。 
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为 a 的 白 噪 声 序列 是 等 效 的 。 这 隐 含 着 稳定 LMS 算法 数字 实现 的 另 一 种 方法 :一 种 相对 较 
弱 WHEN a 的 白 噪 声 序 列 ( 称 为 抖动 ) 可 加 到 输入 过 程 u(n) 中 ,然后 将 其 合并 后 的 样 值 作为 
抽 头 输入 (Wemer，1983 ) 。 


13.2.4 停顿 


停顿 ,也 称 为 锁定 ,是 一 种 在 式 (13.14) 中 未 明确 表示 、 但 在 LMS 算法 数字 实现 中 却 会 发 生 
的 现象 。 当 梯度 估算 中 没有 足够 的 噪声 成 分 时 ,就 会 出 现 停顿 现象 。 具 体 来 说 ,LMS 算法 的 数 
字 实 现 停止 了 自 适应 , 即 停顿 只 要 该 算法 更 新 方程 (13.9) 中 第 i 个 抽 头 权 值 的 最 低 修 正 项 
pe, (n) u, (n - i) FHSAA AY A817 (LSB, least significant bit) IM ,都 会 发 生 这 种 停顿 现象 。 
该 现象 在 数学 上 可 表示 为 (Gitlin et al., 1973) 
J(n) = e(n) + allW(n)|? (13.20) 
AP m 是 第 i 个 抽 头 权 值 停止 自 适应 的 时 间 , 这 里 假设 第 i SUA E ER (13.20) 
所 示 的 条 件 。 然 后 ,对 式 (13.20) 做 一 阶 近似 , 即 用 均 方 根 (mms) 值 4 代替 uw (no - i)o AL, 
将 该 值 代入 式 (13.20) 后 ,可 以 得 到 数字 实现 的 LMS 算法 中 自 适应 停顿 时 量化 误差 的 ms 值 的 
关系 式 





= ep(1) (13.21) 


上 式 右 边 定 义 的 ep(A) 称 为 数字 残留 误差 ,简称 数字 残 差 。 

为 了 防止 算法 因数 字 化 而 出 现 停顿 ,数字 残 差 ep(Aw) 越 小 越 好 。 由 式 (13.21) 得 知 , 为 了 
达到 这 一 要 求 , 可 以 使 用 以 下 两 种 方法 : 

1) 通过 对 数字 表示 的 每 个 抽 头 权 值 挑选 充分 大 的 比特 数 ,来 减 小 最 低 有 效 位 (LSB)。 

2) 在 保证 算法 收敛 的 同时 ,将 步 长 参数 尽 可 能 选 得 大 些 。 

防止 停顿 的 另 一 个 方法 就 是 在 量化 器 的 输入 端 插入 抖动 , 即 插 人 一 种 高 频 脉动 ,该 量化 器 
置 于 抽 头 权 值 的 累加 器 中 (Sherwood & Bershad，1987)。 由 随机 序列 组 成 的 拉动 基本 上 可 使 量 
化 器 线性 化 。 换 言 之 ,加 入 抖动 可 以 保证 :对 于 将 梯度 量化 误差 向 量 n 再 次 建 模 为 白 噪 声 来 
说 ,量化 器 的 输入 是 足够 含 噪 的 ( 即 my 的 各 分 量 在 时 间 上 互 不 相关 ,彼此 之 间 也 互 不 相关 ,而 
且 各 分 量 的 方差 皆 为 * )。 当 以 这 种 方式 使 用 抖动 时 ,可 望 使 它 对 LMS 算法 整个 运算 的 影响 
最 小 。 这 通常 能 够 通过 对 该 抖动 的 功率 谱 整形 获得 ,从 而 使 它 能 被 输出 端的 算法 有 效 抑制 。 


13.2.5 参数 偏差 


除了 与 LMS 算法 有 关 的 数值 方面 的 问题 外 ,算法 的 实际 应 用 中 还 会 遇 到 另 一 个 相当 难以 
对 付 的 问题 : 某 类 输入 激励 会 导致 参数 偏差 , 即 尽管 输入 、 扰 动 和 估计 误差 都 是 有 界 的 ,但 LMS 
算法 中 的 参数 估计 值 或 抽 头 权 值 却 会 达到 任意 大 (Sethares et al. ,1986)。 尽 管 人 们 很 不 希望 出 
现 这 一 无 界 现 象 ,但 当 算法 中 的 所 有 可 观测 信号 都 收敛 到 零 时 ,这些 参 数 估计 值 却 有 可 能 漂移 
到 无 限 大 。 因 为 抽 头 权 值 代表 算法 的 内 部 变量 ,所 以 可 将 LMS 算法 的 参数 偏差 看 做 隐形 不 稳 
定 。 参 数 偏差 有 可 能 导致 新 的 数值 问题 ,使 算法 对 非 模 型 扰动 的 敏感 性 增加 ,并 且 使 算法 的 长 
期 性 能 下 降 。 
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为 了 鉴别 参数 偏差 这 个 难题 ,需要 引入 一 些 与 参数 空间 有 关 的 新 概念 。 因 此 ,我 们 要 暂时 
脱离 本 节 的 主题 , 转 而 介绍 这 些 概念 。 

一 系列 随时 间 n 变化 的 承载 信息 的 抽 头 输入 向 量 u(z) 用 于 将 实 M 维 参 数 空间 及 “划分 
为 正 交 子 空间 ,这 里 M 是 抽 头 权 值 个 数 ( 即 可 用 自由 度数 )。 这 一 划分 的 目的 是 为 了 将 自 适应 
滤波 算法 (如 LMS 算法 ) 转 化 为 更 加 简单 的 子 系统 ,从 而 使 参数 估计 的 瞬 态 特性 与 滤波 器 激励 
之 间 建 立 起 紧密 的 联系 。 该 划分 如 图 13.3 所 示 。 我 们 要 特别 注意 区 别 民 *” 的 下 列子 空间 : 

1) 无 激励 子 空间 Æ Mx1 维 向 量 z 是 参数 空间 R* 的 任意 一 个 元 素 , 且 满足 以 下 两 个 

条 件 : 

© 回 量 z 的 欧 氏 范 数 为 1, 即 

|z| = 1 
© WFAA CEA PRIA n 除外 ), 向 量 z 与 抽 头 输入 向 量 ul) EZ. 
ziu(n) # 0, ERARA (13.22) 


EH Z 表示 由 所 有 这 些 z 向 量 的 集合 所 张 成 的 R“ 子 空间 , 则 子 空间 7。 称 为 无 激励 子 
空间 ,因为 它 所 张 成 的 参数 空间 有 “中 的 那些 方向 通常 只 受到 有 限 的 激励 。 


参数 空间 RY 
Se 
激励 子 空间 


无 激励 

子 空间 
持续 激励 递减 激励 其 他 激励 
oe Fen FEN 


图 13.3 ”以 激励 为 基础 对 参数 空间 有 4 进行 分 解 













2) 激励 子 空间 BAS. 表示 无 激励 子 空 间 9. 的 正 交 补 空 间 。 显 然 ,9。 也 是 参数 空间 
R” 的 子 空间 ,并 且 它 所 包含 的 参数 空间 有 R* 中 的 那些 方向 通常 受到 的 激励 却 是 无 限 
的 。 因 此 ,除了 零 向 量 外 ,属于 子 空间 9。 的 每 个 元 素 z 满足 如 下 条 件 

zu(n) # 0, 常常 无 限 的 (13.23) 
正 因为 如 此 , 子 空间 9. 也 称 为 激励 子 空间 。 
按照 激励 对 自 适 应 滤波 算法 影响 的 不 同 , 子 空 间 9.。 自身 也 可 分 解 为 三 个 正 交 子 空间 。 
这 三 个 子 空 间 可 区 分 如 下 (Sethares et al. ,1986) : 
o 持续 激励 子 空间 用 z 表 示 激 励 子 空间 9。 中 的 任意 单位 向 量 z。 对 任意 正 整数 m 和 
任意 的 a > 0, 选 择 这 样 一 个 向 量 z, 使 它 满足 
zuli) >a 对 n<i<nt+m 和 对 所 有 除了 nn 的 有 限 数 (13.24) 


给 定 正 数 m 和 常数 a ,车 用 F,(m,a) 表 示 由 满足 式 (13.24) 的 所 有 向 量 z 所 张 成 的 子 
空间 ,那么 存在 一 个 有 限 大 的 数 m。 和 一 个 正 数 a。。 此 时 ,这 两 个 参数 的 取 值 可 使 子 
空间 9;(m,a) 达 到 最 大 。 换 言 之 ,对 所 有 的 m >0 和 所 有 的 a >0,9, (m, a) BES, 
(m,a)o FEZES, =P y (mo ,ao) 称 为 持续 激励 子 空间 ,而 mo 则 称 为 激励 间隔 。 在 持 
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续 激 励 子 空间 中 每 个 z 向 量 方向 上 ,在 有 限 个 长 为 m 的 间隔 之 外 ,至 少 存在 一 个 电 
平 为 ay 的 激励 。 因 此 可 以 发 现 ,在 持续 激励 子 空 间 中 , 抽 头 输入 向 量 u(n) 所 含 信 号 
的 频率 成 分 十 分 丰富 ,足以 激励 控制 受 测 自 适 应 滤波 算法 的 瞬 态 特性 的 所 有 内 部 模式 
(Narendra & Annaswamy, 1989). 

o 递减 激励 子 空 间 ”考虑 一 个 序列 ui) A 


(3 之 blr) < 00 (13.25) 


对 于 1< p< 0 iE PA ENR EZL” HAAR. IX — BE Al 
范 数 定义 为 


oo U/p 
lul, = (È ar’) (13.26) 
注意 ,对 于 1< p< om 若 序列 uw( 引 是 L? PH—ThscH, M 
lim n u(n) =0 (13.27) 


& z 表 示 激 励 子 空 间 9. 中 任 一 单位 范 数 向 量 ,使 得 对 于 1< p< œ ,序列 zu(n) 包 含 
在 正则 线性 空间 ZL? 中 。 令 9。 表 示 由 所 有 z 向 量 所 张 成 的 子 空间 。 子 空间 y。 称 为 
递减 激励 子 空 间 ,在 这 个 意义 上 ,ss 的 每 个 方向 所 受 激 励 是 递减 的 。 对 任意 一 个 
z 关 0 的 向 量 , 下 列 两 个 条 件 


u(n)| = a > 0 常常 无 限 的 





和 


lim nz’ u(n) =0 


无 法 同时 满足 。 事 实 上 ,可 以 看 出 递减 激励 子 空间 94 SRE AS, 是 彼此 
正 交 的 。 

o 其 他 性 质 的 激励 子 空间 RAS, Us 表示 持续 激励 子 空间 9。 和 递减 激励 子 空 间 F。 
的 一 个 并 集 ,用 9。 表示 位 于 激励 子 空间 9 .内 9 UFa 的 正 交 补 空间 。 子 空间 y。 称 为 
其 他 性 质 的 激励 子 空间 。 在 子 空间 9。 中 的 任何 向 量 不 是 无 激励 ,也 非 持续 激励 , 且 
对 于 任何 有 限 的 p, 它 也 不 在 正则 线性 空间 L? 中 。 这 样 一 个 信号 的 例子 是 如 下 序列 

1 


T = — = 
zu(n) ma +n) n = 1,2,... (13.28) 


现在 ,让 我 们 回 到 LMS 算法 中 参数 偏差 问题 的 讨论 。 可 以 发 现 ,对 于 无 激励 子 空间 和 持 





续 激励 子 空间 中 的 有 界 激励 和 有 界 扰动 而 言 , 由 LMS 算法 应 用 导出 的 参数 估计 实际 上 是 有 界 
的 。 然 而 ,在 递减 和 其 他 子 激励 空间 中 ,可 能 出 现 参 数 偏差 (Sethares et al. ,1986)。 使 用 LMS 
算法 时 ,消除 参数 偏差 的 一 种 通用 方法 就 是 在 算法 的 权 值 更 新 方程 中 引入 泄漏 技术 。 事 实 上 ， 
这 就 是 使 用 前 述 泄漏 LMS 算法 的 另外 一 个 原因 。 


13.3 递归 最 小 二 乘 算 法 


除了 LMS 算法 外 ,求解 自 适 应 滤波 问题 的 另 一 种 方法 就 是 递归 最 小 二 乘 算法 (RLS) 。 如 
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第 9 章 所 述 ,RLS 算法 的 特点 是 收敛 速率 快 ,收敛 时 对 输入 数据 的 基本 相关 和 矩阵 的 特征 值 扩 散 
度 不 敏感 ,而 且 失 调 几 乎 可 以 忽略 不 计 ( 在 无 扰动 的 稳 态 条 件 下 ,失调 为 零 )。 此 外 ,尽管 该 算 
法 对 计算 的 要 求 比较 苛刻 (因为 它 的 计算 复杂 度 是 M 数量 级 ,这 里 M 为 抽 头 权 向 量 的 维 
BO) ,但 是 它 的 数学 表达 式 及 其 实现 方式 都 相当 简单 。 然 而 , 当 用 有 限 精 度 运算 实现 RIS 算法 
时 ,需要 考虑 其 可 能 存在 的 数值 不 稳定 问题 。 

基本 上 ,RLS 算法 的 数值 不 稳定 性 或 很 强 的 发 散 性 ,类 似 于 卡尔 曼 滤波 实验 中 所 呈现 的 特 
性 ,因为 RLS 算法 是 卡尔 曼 滤波 的 一 个 特例 。 实 际 上 , 这 一 问题 可 追踪 到 这 样 一 个 事实 ， 
Riccati 方 程 中 时 间 更 新 矩阵 P(m ) 是 作为 两 个 非 负 定 矩 阵 之 差 计 算 的 ,如 式 (9.19) 所 示 。 因 此 ， 
当 和 矩阵 P(z) 失 去 正定 特性 或 埃 尔 米 特 对 称 性 时 ,该 算法 就 可 能 呈现 很 强 的 发 散 性 。 这 正 是 表 
9.1 所 述 的 RLS 算法 一 般 表 达 式 可 能 发 生 的 问题 (Verhaegen,1989)。 

那么 ,在 出 现 数值 误差 时 ,怎样 能 够 使 RLS 算 法 保持 矩阵 P(m) 的 埃 尔 米 特 对 称 性 呢 ? 从 
实用 的 角度 来 看 ,如 果 可 以 用 很 高 的 计算 效率 求 出 这 个 基本 问题 的 解 ,那么 它 显然 会 满足 这 一 
要 求 。 为 此 ,我 们 在 这 里 给 出 表 13.1 所 示 的 一 种 特殊 的 RLS 算法 。 该 算法 由 Yang(1994) 提 
出 ;为 了 保护 所 设计 的 矩阵 P(n) 的 埃 尔 米 特 对 称 性 ,他 使 用 了 一 种 计算 效率 很 高 的 方法 0。 
由 于 该 算法 只 简单 地 计算 由 算 子 Ti 所 表示 的 矩阵 P(n) 的 上 三 角 或 下 三 角 部 分 ,而 后 将 数 
值 填 人 和 矩阵 的 其 余部 分 ,以 保护 矩阵 的 埃 尔 米 特 特性 ,因此 改善 了 算法 的 计算 效率 。 此 外 , 算 
法 中 还 用 到 与 预先 计算 好 的 A” 值 进行 的 乘法 运算 代替 了 用 4 进行 的 除法 运算 。 

表 13.1 计算 高 效 的 对 称 保护 型 RLS 算法 小 结 
算法 初始 化 , 即 令 
P(0) =S "1 9= 小 的 调整 参数 
w(0) = 0 
对 每 个 时 刻 n=1,2,… ,计算 
a(n) = P(n — 1)u(n) 


r = 下 

k(n) = r(a)a(n) 

E(n) = d(n) — Wi(n — 1)u(n) 

W(n) = Wn — 1) + k(n)é*(n) 

P(n) = Tri{A [P(r — 1) — k(n)" (n)]} 


13.3.1 误差 传播 模型 2 
根据 表 13.1 的 算法 ,计算 相关 矩阵 P(m) 的 道 矩阵 所 涉及 的 递归 关系 式 如 下 : 





@ Verhaegen(1989) 阐 述 了 另外 一 种 可 以 保持 对 称 性 的 RLS 算法 。 尽 管 Verhaegen 提出 的 算法 不 如 Yang 提出 的 算法 计 
算 效率 高 ,但 是 两 者 所 呈现 的 数值 特征 是 完全 一 样 的 。 

© 本章 讨论 的 RLS 滤波 器 的 误差 传播 模型 ,用 于 研究 线性 化 后 的 伟人 传播 机 制 ,并 且 重 点 讨论 指数 稳定 特性 。 然 而 ， 
实际 上 , RIS 滤波 器 中 的 伟人 误差 是 按 非 线性 机 制 传播 的 。 因 此 ,使 用 线性 化 方法 只 表明 了 RIS 算法 的 局 部 指数 
稳定 性 ,而 并 不 能 指出 累加 误差 应 小 到 什么 程度 才能 够 在 忽略 式 (13.35) 和 式 (13.37) 中 的 非 线 性 (二 阶 ) 项 影响 时 ， 
不 破坏 滤波 器 的 稳定 性 。Liavas 和 Regalia(1999) 在 他 们 的 论文 中 研究 了 无 论 从 理论 上 还 是 从 实践 上 而 言 都 很 重要 
的 非 线性 问题 。 在 他 们 的 论文 中 ,导出 了 长 要 求 的 界限 ,以 便 保 证 标准 RLS 滤波 器 有 精度 实现 中 有 界 的 误差 积累 
和 一 致 性 。 这 些 界 限 可 按照 指数 加 权 因 子 和 输入 信号 适应 条 件 来 表示 。 
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a(n) = P(n — 1)u(n) (13.29) 
1 
r(n) = d+ ufala) (13.30) 
k(n) = r(n)a(n) . (13.31) 
P(n) = Tri{a'[P(n — 1) — k(n)a”(n)]} (13.32) 


式 (13.32) 中 ,4 是 指数 加 权 因 子 。 下 面 ,我 们 在 假设 无 其 他 量化 误差 的 条 件 下 ,讨论 n - 1 时 
刻 的 单个 量化 误差 如 何 向 相继 的 递归 过 程 传播 。 特 别 地 , 令 


Poe( 闫 一 1) = P(n - 1) + n(n — 1) (13.33) 
式 中 误差 矩阵 n (n - 1) 是 在 量化 PCn -1) 时 产生 的 。n(n) 相 应 的 量化 值 为 
m(n) = a(n) + n(n — 1)u(n) (13.34) 


S r,(n) 表 示 r(m) 的 量化 值 , 则 利用 定义 式 (13.30) ,可 以 写 出 
1 


rn) = u4(n)a,(n) 


1 
TAF u” (n)a(n) + unmp(n — 1)u(n) 


1 (1 n u (amp( 一 ae) 


T A + wi(n)a(n) à + w(n)a(n) 








(13.35) 


1 u”(n)y,(n — 1)u(n) > 
+) (à+ 8 (n(n) + O(n) 





u”(nm,(n — 1)u(n) 
(à + u” (n)a(n) f 





=r(n) 一 + O(n?) 


RF 0(w ) 表 示 |n, |? 的 数量 级 。 

在 理想 情况 下 ,无 限 精度 标量 r(n) 是 非 负 的 ,其 取 值 介 于 0 和 1/4 之 间 。 另 一 方面 ,如 果 
ut(nz)s(n) 小 于 和 , 且 、) 远 小 于 1, 则 由 式 (13.35) 可 知 , 在 有 限 精 度 条 件 下 ,m (z) 可 能 取 绝 对 
值 大 于 V/A 的 负数 。 当 出 现 这 种 情况 时 ,RIS 算法 将 呈现 很 强 的 发 散 性 (Bottomley & Alexander, 
1989)®, 

增益 向 量 k(z) 的 量化 值 可 写 为 

K,(n) = rn(n)n,(n) 
= k(n) + m(n) (13:38) 


式 中 

n(n) = rT — k(n)u"(n))q,(2 — Du(n) + O(n?) (13.37) 
是 增益 向 量 量化 误差 。 最 后 ,由 式 (13.32) 可 见 ,计算 更 新 的 首相 关 和 矩阵 P(n) 所 产生 的 量化 误 
差 可 表示 为 





@ Bottomley 和 Alexander(1989) 在 他 们 的 论文 中 指出 ,因子 r(m) 的 演化 过 程 很 好 地 表示 了 该 过 程 强烈 的 发 散 特性 。 因 
为 该 因子 先 增 大 ,而 后 突然 变 为 负数 。 
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ma = AL ku (na) n(n — DE k(n)u"(n))” (13.38) 


式 中 忽略 了 O(n, ) 项 。 

假设 在 前 面 的 迭代 过 程 中 条 件 ms (n - 1) =n, (n -ID) 成 立 , 则 在 式 (13.38) 的 基础 上 ,可 
尝试 推断 出 my，(z) = 和 (nz), 即 表 13.1 所 述 的 RLS 算法 在 运算 过 程 中 保持 埃 尔 米 特 对 称 性 。 
在 下 文中 ,我 们 将 通过 RLS 算法 公式 中 不 会 出 现 骨 省 现象 这 一 事实 ,来 证 明 以 上 断言 的 正确 
性 。 当 然 ,在 此 过 程 中 ,还 假设 算法 不 会 出 现 停顿 现象 。 

式 (13.38) 以 P(n - 1) 中 的 单个 量化 误差 为 基础 定义 了 表 13.1 概述 的 RLS 算法 的 误差 传 
播 机 制 。 在 单个 量化 误差 (nm - 1) 通 过 算法 传播 的 过 程 中 ,矩阵 1- k(n)u"(n) 起 着 非常 重 
要 的 作用 。 利 用 式 (9.22) 对 增益 向 量 所 做 的 原始 定义 , 即 


k(n) = ®'(n)u(n) (13.39) 
可 以 写 出 
I — k(n)u”(n) = E- © '(n)u(n)u"(n) (13.40) 
其 次 ,由 式 (9.12) ,我 们 有 
Pn) = A(n — 1) + u(n)u” (n) (13.41) 
sk (13.41) PA RET Fe RE @ (n) ,并 整理 后 可 得 
I- @'(n)u(n)u"(n) = A®*(n)@(n — 1) (13.42) 
比较 式 (13.40) 与 式 (13.42) ,容易 推断 
I — k(n)u"(n) = A®™"(n)@(n — 1) (13.43) 


假设 我 们 现在 考虑 nan 时 引起 的 量化 误差 和 (mo) 的 影响 。 则 当 使 用 表 13.1 所 示 的 
RLS 算法 ,并 按照 式 (13.38) 所 示 的 误差 传播 模型 来 保持 抢 阵 P(m ) 的 埃 尔 米 特 对 称 性 时 ,可 得 
出 量化 误差 (no ) 的 影响 变 为 在 n 时 刻 进行 它 的 修正 ,从 而 得 到 


. m(n) = de(n, nompno)p (n,n0) n =n (13.44) 
式 中 
e(n, n) = (I — k(n)” (n)) (1 — k(n + Luf(no + 1)) (13.45) 
是 转移 和 矩阵。 在 式 (13.4$) 中 反复 使 用 式 (13.43) , Se hE BE RA 
e(n, no) = Ar 和 (下 (mo (13.46) 
相关 和 矩阵 定义 为 [忽略 式 (9.8) 中 的 正则 化 项 ] 
®(n) = > arali atli) (13.47) 


在 此 定义 基础 上 , 当 n 充分 大 时 ,就 将 抽 头 输入 向 量 u(n) 称 为 均匀 持续 激励 。 当 然 , 这 里 要 
假设 a,b 和 WN 存在 ,并 且 满 足 0< a< b< om 和 如 下 的 条 件 (Liung & Ljung, 1985) 

aA<@(n)< bl Wan SN (13.48) 
式 (13.48) 中 使 用 的 符号 是 为 了 说 明和 矩阵 ®(n) 是 正定 矩阵 。 持 续 激励 的 条 件 不 仅 可 以 保证 
(nn) 的 正定 性 ,而 且 可 以 保证 其 矩阵 范 数 在 n>N 时 一 致 有 界 , 即 
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I® (ol <- 对 于 n>>N (13.49) 
回 到 式 (13.46) 的 转移 矩阵 (n, mo) 并 引用 年 阵 范 数 的 相互 一 致 性 2, 可 以 写 出 
e(n, no)i < ADE] + | P(r) (13.50) 
其 次 ,由 式 (13.49) ,可 将 式 (13.50) 改 写 为 
lel, no)i < ~— O(n) (13.51) 


a 
最 后 ,我 们 可 利用 式 (13.44) 的 误差 传播 方程 将 m,(n) 的 欧 氏 范 数 表 示 为 
In < A p(n ao Ima — I) + he (7, mo) 
由 式 (13.51) ,上 式 可 改写 为 
Inpa SAM n>m (13.52) 
式 中 


1 
M=- lI®(no)P mon — 1)) (13.53) 


是 一 个 正 数 。 式 (13.53) 表 明 表 13.1 的 RIS 算法 是 指数 稳定 的 。 因 为 只 要 A < 1( 即 只 要 算法 
具有 有 限 记忆 ) ,在 时 刻 no 由 相关 矩阵 P(m ) 道 矩阵 产生 的 单 量化 误差 wy, ( no) 就 按 指数 方式 
训 减 @。 换 言 之 ,通过 这 个 有 限 记 忆 标 准 RLS 算法 公式 的 单 误差 传播 是 收缩 的 。Verhaegen 
(1989) 用 计算 机 模拟 的 方法 证 实 了 这 个 结论 的 有 效 性 。 

然而 ,要 注意 的 是 , 当 记 忆 增 强 即 A = 1 时 , 单 误差 传播 并 不 是 收缩 的 ;其 原因 是 ,此 时 即 
使 输入 向 量 u(n) 是 持续 激励 的 , @( n,n.) <1 A || (n,n) | 三 1 也 都 不 成 立 ; 于 是 ,数值 误 
差 不 断 累积 ,最 终 将 导致 算法 发 散 (Yang,1994)。 另 外 ,Slock 和 Kailath (1991) 经 过 独立 的 研究 
后 也 指出 , 当 4 =1 时 ,RLS 算 法 中 的 误差 传播 机 制 是 不 稳定 的 ,具有 随机 游 动 型 特性 。Ardalan 
和 Alexander( 1987) 用 实例 证 实 了 这 种 数值 发 散 现象 。 


13.3.2 停顿 


如 同 LMS 算法 一 样 ,第 二 种 形式 的 发 散 称 为 停顿 ,发 生 在 RLS 算法 中 的 抽 头 权 值 停止 自 
适应 的 时 候 。 特 别 地 ,停顿 发 生 在 矩阵 P(m) 量 化 后 的 元 素 变 得 很 小 时 , 以致 于 此 时 乘 以 P(n) 
相当 于 乘 以 一 个 零 扎 阵 (Bottomley & Alexander，1989) 。 显 然 ,无 论 以 何 种 方式 实现 RLS 算法 都 
可 能 引起 停顿 。 

停顿 与 指数 加 权 因 子 A 及 输入 数据 z(m) 的 方差 o2 直接 有 关 。 假 如 4 接近 于 1, 则 由 相 
REE ®(n) 定 义 可 知 ,@(n) 的 数学 期 望 可 表示 为 





© 车 有 两 个 维 数 相 容 的 矩阵 A 和 和 矩阵 B, 则 它们 之 间 的 相互 一 致 性 可 表示 为 
IAB] < IA] - IBI 
见 (附录 E)。 
© Ljung 和 Ljung 首先 于 1984 年 严格 地 证 明了 ,RLS 算 法 中 的 单 误差 传播 是 指数 稳定 的 。Verhaegen(1989) 则 更 加 详细 
地 研究 了 这 个 问题 。 随 后 ,Slock 和 Kailath(1991) 及 Yang(1994) 又 在 各 自 的 论文 中 进一步 证 实 了 RLS 算法 的 误差 传 
播 机 制 具 有 指数 稳定 性 。 
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El®(n)| = R 六 ”对 于 大 的 (13.54) 
[我 们 将 在 第 14 章 中 证 明 这 一 近似 关系 , 见 式 (14.49)。] 当 4 接近 于 1 时 ， 
E[P(n)] = E[®"(n)] ~ (E[@(n)]) (13.55) 
然后 ,将 式 (13.54) 代 入 式 (13.55) ,可 以 得 到 
E[P(n)| ~ (1 — A)R“ 对 于 大 的 nn (13.56) 


REE R 的 道 矩 阵 。 如 果 , 抽 头 输入 向 量 u(n) 的 信号 从 均值 为 0 的 广义 平稳 过 程 中 
采样 , 则 可 以 得 到 如 下 关系 式 
R= = R, (13.57) 
式 中 凡是 对 角 线 上 的 元 素 等 于 1, 非 对 角 元 素 小 于 等 于 1 的 归 一 化 相关 和 矩阵 ,cz 是 输入 数据 采 
样 值 w(n) 的 方差 。 因 此 , 式 (13.56) 可 改写 为 
1 一 
E[P(n)] ~ ( = 


u 


式 (13.58) 表 明 ,如 果 指 数 加 权 因子 4 接近 1 或 输入 数据 的 方差 o2 很 大 时 ,RLS 算法 可 能 出 现 


停顿 。 因 此 ,通过 在 逆 相 关 垂 阵 P(m) 计 算 中 使 用 充分 大 的 累加 器 位 数 , 则 可 防止 标准 RLS 算 
法 出 现 停顿 。 


13.4 平方 根 自 适应 滤波 器 


在 第 11 章 中 ,我 们 研究 了 两 类 特殊 的 平方 根 自 适应 滤波 器 , 即 基于 QR 分 解 的 递归 最 小 
FE (QR-RLS) FY ABE QR-RLS 算法 。QR-RIS 算法 是 平方 根 信 息 滤波 器 的 一 个 特例 ,而 逆 
QR-RIS 算法 则 是 平方 根 协 方差 (卡尔 曼 ) 滤 波 器 的 一 个 特例 。 


13.4.1 QR-RLS 算法 


通常 认为 ,求解 递归 最 小 二 乘 估计 问题 最 好 的 数值 方法 之 一 是 QR 分 解 ,这 是 因为 它 有 如 


1) QR 分 解 直 接 对 输入 数据 进行 运算 。 
2) QR 分 解 只 使 用 数值 特性 很 好 的 西 旋转 ( 即 Givens 旋转 )。 


特别 地 ,因为 QR-RLS 算法 在 运算 过 程 中 传播 的 是 相关 矩阵 O(n) 的 平方 根 ,而 不 是 @(n) 
本 身 , 因 此 @ (nm) 的 条 件数 等 于 @(n) 的 条 件数 的 平方 根 。 这 将 引起 基于 QR 分 解 的 算法 的 
数据 动态 范围 显著 变 小 ,同样 也 导致 比 传播 (nn) 的 标准 RLS 算法 更 精确 的 计算 。 此 外 ,有 限 
精度 QR-RLS 算法 在 有 界 输入 /有 界 输出 (BIBO,bounded-input, bounded-output ) 意义 下 是 稳定 的 
(Leung & Haykin, 1989; Liu et al. ,1991)。 然 而 ,需要 强调 的 是 , 当 算法 在 有 限 精度 条 件 下 工作 
时 ,QR-RILS 算法 的 BIBO 稳定 性 并 不 能 保证 由 算法 计算 获得 的 各 个 量 在 任何 情况 下 都 有 意义 
(Yang & Bibhme，1992)。 特 别 地 ,一 个 酉 旋转 ( 即 一 系列 Givens 旋转 ) 可 用 来 消除 左 阵 列 中 的 某 
一 向 量 ,并 对 左 阵 列 中 其 他 相关 各 项 进行 操作 。 内 部 计算 中 的 一 个 扰动 可 能 会 在 旋转 角 中 产 
生 相 应 的 扰动 ,从 而 在 右 阵 列 的 旋转 项 中 引 人 另 一 个 数值 误差 源 。 这 些 误差 相应 地 又 会 在 旋 





je 对 于 大 的 nn (13.58) 
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转角 后 续 计算 中 产生 进一步 的 扰动 。 其 结果 就 像 我 们 得 到 了 一 个 复杂 参数 的 反馈 系统 ,但 是 
又 不 完全 清楚 这 个 反馈 系统 是 否 是 数值 稳定 的 。 

Yang 和 Bohme(1992) 在 他 们 的 论文 中 介绍 了 由 实验 得 出 的 结论 , 即 当 和 <1 时 ,QR-RIS 算 
法 是 数值 稳定 的 。 他 们 在 实验 中 使 用 该 算法 对 自 回归 (AR) 过 程 进行 了 自 适 应 预测 。 论 文中 
介绍 的 所 有 计算 机 仿真 程序 可 以 在 任何 一 台 使 用 浮 点 运算 的 PC 机 上 运行 。 为 了 在 合理 的 仿 
真 时 间 内 观测 到 有 限 精度 效应 ,在 不 影响 指数 的 前 提 下 ,通过 在 预定 的 位 置 截断 尾数 ,减少 浮 
点 表示 中 有 效 的 尾数 比特 数 。 在 Yang 和 Bohme 介绍 的 实验 中 ,尾数 的 长 度 分别 是 52,12 和 5 
比特 。 实 验 结果 表明 , 字 长 的 变化 对 算法 收敛 特性 的 影响 很 小 。 此 外 , Yang 和 Böhme 还 证 明 
了 当 入 =1 时 ,QR-RLS 算法 发 散 。 

Ward 等 (1986) 在 进行 自 适 应 波束 形成 时 也 通过 实验 证 明了 当 ) <1 时 ,QR-RLS 算法 是 数 
值 稳定 的 。 他 们 还 特别 证 明了 , 当 表示 运算 精度 的 比特 数 相同 时 ,QR-RLS 算法 的 性 能 明显 优 
于 Reed 等 (1974) 所 述 的 样 值 矩阵 求 逆 算 法 。 


13.4.2 jf QR-RLS 算法 


Bi QR-RLS 算法 传播 的 是 P“ (n), AUB Pn) = @'(n) KOE HL. RR QR- 
RLS 算法 不 同 于 运算 过 程 中 传播 @ (nz) 的 QR-RLS 算法 ,但 是 这 两 种 算法 有 一 个 共同 的 特性 ， 
即 它们 都 避免 在 运算 过 程 中 传播 各 自 矩 阵 的 埃 尔 米 特首 矩阵 。 因 此 ,类 似 于 QR-RLS 算法 Wi 
QR-RLS 算法 也 有 QR 分 解 所 具有 的 良好 数值 特性 。 

A <1 AY, wt QR-RLS 算法 中 (而 且 就 此 而 言 ,在 QR-RLS 算法 中 ) 的 单 误差 传播 是 指数 稳 
定 的 。 这 个 论断 的 合理 性 遵循 第 13.3 节 介绍 的 RLS 算法 的 数值 稳定 性 分 析 。 

然而 , 当 A = 1 时 , 单 误差 传播 不 是 收缩 的 。 由 此 可 以 推断 ,量化 误差 的 累积 会 导致 逆 QR- 
RLS 算法 的 数值 不 稳定 (发 散 ), 这 个 现象 已 为 计算 机 模拟 实验 所 证 实 ?。 对 QR-RLS 算法 本 
身 , 也 有 类 似 的 论断 ,而 且 Yang 和 Bahme(1992) 也 用 实验 验证 了 这 一 论断 的 正确 性 。 


13.4.3 评注 小 结 
总 之 ,有 限 精 度 环境 下 对 平方 根 自 适应 滤波 器 工作 的 要 求 , 可 以 描述 如 下 @: 


o 如 果 仅 要 求 估 计 误 差 e(n),QR-RLS 算 法 是 更 可 取 的 。 
e 如 果 要 求 权 向 量 wn), X QR-RLS 算 法 是 一 个 很 好 的 候选 者 。 
o 一 般 不 推荐 使 用 广义 的 QR-RLS 算法 (见习 题 7)。 


13.5 阶 递 归 自 适应 滤波 器 
在 阶 递归 自 适 应 滤波 算法 (就 此 而 言 , 即 至 今 已 知 的 所 有 快速 RLS 算法) 中 ,负责 联合 过 


程 估计 的 特殊 部 分 从 属于 负责 前 向 和 后 向 线性 预测 的 部 分 。 因 此 ,这 类 自 适 应 滤波 器 的 数值 
稳定 性 在 很 大 程度 上 取决 于 预测 部 分 如 何 进行 其 计算 。 





© Yang, B. 的 个 人 通信 ,1995。 
© ”这 里 介绍 的 评注 小 绪 是 基于 Yang 的 个 人 通信 (1995)。 
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13.5.1 QRD-LSL 算法 


TER 12.5 总 结 的 基于 QR 分 解 的 最 小 二 乘 格 型 (QRD-LSL) 算 法 中 ,预测 部 分 由 M 个 格 型 
级 的 预测 部 分 组 成 ,这 里 M 是 最 终 的 预测 阶 数 。 预 测 部 分 的 每 一 级 以 Givens 旋转 形式 使 用 
QR 分 解 进行 计算 。 其 结果 是 将 输入 数据 序列 w(n) ,uln 一 1),…,wu(n 一 必 ) 转 换 为 相应 的 归 
一 化 角度 的 后 向 预测 误差 eron), (n), ,es,x(n) 序 列 。 如 给 定 后 一 个 序列 , 则 联合 过 程 
估计 也 利用 QR 分 解 一 级 一 级 地 进行 计算 ,最 终 的 结果 是 某 个 期 望 响应 d(n) 的 最 小 二 乘 估 
计 。 换 言 之 ,贯穿 算法 的 所 有 运算 都 是 采用 QR 分 解 完 成 的 。 

从 数值 的 观点 来 看 ,QRD-LSL 算 法 具有 如 下 期 望 特性 ; 


1) 应 用 Givens 旋转 所 涉及 的 正弦 和 余弦 都 有 很 好 的 数值 特性 。 

2) 算法 具有 良好 的 数值 一 致 性 ,这 是 因为 从 一 个 循环 转 到 另 一 个 循环 时 ,算法 的 每 一 级 
只 传递 那些 为 满足 运算 需要 的 最 小 可 能 的 参数 , 即 避 免 传 播 (其 他 ) 有 关 参 数 。 表 12.5 
示 出 由 算法 的 这 三 个 部 分 传播 的 参数 ,如 下 表 。 











项 别 参数 传播 

前 向 预测 Bn — 2), Primal = 1), Yal — 1) 
后 向 预测 Frain — 1), pom-i(n — 1) 

联合 过 程 估计 Pm-i(n — 1) 


3) 分 别 涉及 角度 归 一 化 估计 误差 p,m 1 (1) Erm- (0) A e。,(n) 的 阶 更 新 运算 辅助 参数 
Perm-i(n 一 1)、psn-i1(n 一 1) 和 ps_1(n--1) 都 是 直接 计算 的 。 也 就 是 说 ,用 来 计算 每 个 
辅助 参数 的 时 间 更 新 递归 过 程 中 涉及 局 部 误差 反馈 。 这 种 反馈 形式 是 保证 算法 数值 
稳定 的 男 一 个 要 素 。 


在 用 实验 方式 证 明 QRD-LSL 算法 具有 数值 稳定 性 的 各 种 文献 中 ,包括 Ling(1989) 、Yang 和 
Bihme(1992)、McWhirter 和 Proudler(1993) 以 及 Levin 和 Cowan(1994) 等 所 做 的 计算 机 模拟 工作 。 
所 有 这 些 实验 都 证 明了 QRD-LSL 算法 的 各 种 变形 的 数值 鲁 棒 性 。 尤 其 是 Levin 和 Cowan (1994), 
在 他 们 的 论文 中 评价 了 8 种 不 同类 型 的 RLS 自 适应 滤波 算法 在 有 限 精度 条 件 下 的 性 能 。 文 中 给 
出 的 结果 证 明 : 属 于 平方 根 信息 范畴 (以 QRD-LSL 算法 为 例 ) 的 算法 ,其 性 能 优 于 属于 方差 范畴 的 
算法 。 此 外 ,在 所 研究 的 8 种 算法 中 ,数值 不 精确 对 QRD-LSL 算法 的 影响 最 小 。 

QRD-LSL 算法 数值 鲁 棒 性 的 进一步 证 据 出 现在 Capman 等 (1995) 的 论文 中 。 他 们 介绍 了 
一 种 多 速率 方案 与 QRD-LSL 变形 算法 相 结合 的 回音 消除 器 。 文 中 的 模拟 结果 表明 ,所 求 得 的 
解 对 回音 消除 问题 具有 数值 鲁 棒 性 。 


13.5.2 递归 LSL 算法 


接 下 来 我 们 讨论 递归 最 小 二 乘 格 型 算法 。 由 第 12 章 的 讨论 可 知 ,这些 算 法 是 QRD-LSL 
算法 的 特例 。 事 实 上 ,它们 是 通过 先 对 QRD-LSL 算法 的 各 阵列 进行 平方 ,然后 再 比较 各 项 的 
方法 导出 的 。 考 虑 到 在 算法 数值 特性 的 范畴 内 , 某 个 量 取 平方 对 数值 特性 的 影响 与 该 量 取 平 
方 根 的 影响 正好 相反 ,因此 尽管 递归 LSL 算法 是 由 QRD-LSL 算法 导出 的 ,但 在 有 限 精 度 条 件 
下 ,其 性 能 总 是 还 于 QRD-LSL 算法 。 
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通过 采用 多 级 格 型 预测 器 将 输入 数据 转换 为 相应 的 后 向 预测 误差 序列 ,递归 LSL 算法 可 
迅速 求 出 递归 最 小 二 乘 问题 的 解 。 这 种 变换 可 看 做 经 典 Gram-Schmidt 正 交 化 过 程 的 一 种 表示 
形式 , 它 在 数值 上 是 不 精确 的 。 因 此 ,传统 的 递归 LSL 算法 ( 它 建 立 在 后 验 或 先 验 预 测 误差 的 
基础 上 ) 数 值 特性 较 差 。 克 服 递归 LSL 算法 数值 精度 问题 的 实用 方法 的 关键 是 ,直接 更 新 前 向 
和 后 向 反射 系数 , 而 不 是 先 计算 加 权 前 向 和 后 向 预测 误差 及 其 互相 关 的 各 个 和 然后 再 求 合 适 
量 之 比 ( 如 在 传统 的 递归 LSL 算法 中 那样 )。 带 有 误差 反馈 的 递归 LSL 算法 (Ling & Proakis， 
1984a) 就 是 这 样 做 的 , 表 12.7 中 总 结 的 算法 即 为 它 的 一 个 实例 。 对 于 规定 的 定点 表示 , 带 有 
误差 反馈 的 递归 LSL 算 法 在 计算 前 向 和 后 向 反射 系数 时 数值 精度 要 高 得 多 ,而 前 向 和 后 向 反 
射 系数 是 任何 递归 LSL 算法 的 关键 参数 。 因 此 ,尽管 由 于 有 限 精 度 效应 会 引起 量化 误差 ,但 是 
直接 计算 前 向 和 后 向 反射 系数 对 保持 输入 数据 逆 相 关 和 矩阵 的 正定 性 具有 全 面 的 影响 。 所 以 ， 
就 所 关心 的 数值 特性 而 言 , 带 有 误差 反馈 的 递归 LSL 算法 优 于 传统 的 递归 LSL 算法 了 。 


13.5.3 梯度 自 适 应 格 型 算法 


阶 递 归 自 适应 滤波 算法 包含 (不 精确 ) 梯 度 自 适应 格 型 (GAL) 算 法 。 梯 度 自 适 应 格 型 算法 
直接 对 反射 系数 (算法 的 每 个 步 包 含 一 个 系数 ) 进 行 迭 代 ( 见 第 12.1 节 )。 换 言 之 ,在 算法 的 运 
算 过 程 中 已 经 构造 了 某 种 形式 的 误差 反馈 机 制 。 按 照 前 面 所 做 的 讨论 ,我 们 也 希望 CAL 算法 
能 呈现 良好 的 数值 特性 。 事 实 上 ,这 已 由 Satorius 等 (1983) 给 出 的 计算 机 模拟 结果 所 证 实 。 


13.6 快速 横向 滤波 器 


本 节 我 们 将 研究 快速 横向 滤波 器 (ETF ,fast transvarsal filter) ,并 以 此 结束 有 关 自 适应 滤波 
算法 的 数值 特性 的 讨论 。 与 阶 递归 自 适 应 滤波 器 一 样 ,FTF 算法 也 是 利用 输入 数据 的 时 移 不 
变性 来 求解 递归 最 小 二 乘 问题 。 

如 图 13.4 所 示 ,FTF 算法 使 用 共享 一 个 输入 的 四 个 独立 的 横向 滤波 器 。 这 四 个 滤波 器 执 
行 的 任务 各 不 相同 : 


o 递归 前 向 线性 预测 
。 递归 后 向 线性 预测 
o 递归 计算 增益 向 量 
。 期 望 咯 应 的 递归 估计 


表 13.2 给 出 FTF 算法 的 总 结 2。 这 里 所 用 的 符号 与 第 12 章 描述 该 算法 时 所 用 的 符号 相 
同 。 该 算法 的 优势 在 于 , 它 能 直接 计算 横向 滤波 器 模型 系数 。 

遗憾 的 是 , 当 用 有 限 精度 运算 实现 FTF 算法 时 ,数值 误差 会 导致 算法 发 散 。 数 值 发 散 一 定 先 于 
算法 丢失 其 最 小 二 乘 特征 。 特 别 地 ,FTF 算法 含有 不 稳定 的 传播 模式 。 这 些 传播 模式 在 使 用 精确 的 
算术 时 永远 不 会 激发 ,但 是 在 使 用 有 限 精 度 运算 时 却 能 显现 出 来 (Slock, 1992; Regalia, 1992). 





@ North 等 (1993) 用 计算 机 模拟 比较 了 32 比特 直接 更 新 递归 LSL 算 法 ( 即 带 有 误差 反馈 的 算法 ) 与 32 比特 间接 更 新 递 
归 LSL 算 法 的 数值 特性 。 他 们 的 研究 涉及 自 适 应 干扰 消除 。 业 已 发 现 ,在 间接 更 新 递归 LSL 算 法 中 ,经 过 大 约 10° 
次 迭代 后 ,产生 的 数字 误差 积累 将 导致 算法 在 干扰 消除 方面 的 性 能 较 之 直接 更 新 递归 LSL 算 法 下 降 约 20 dB。 

© 关于 FTF 算 法 的 推导 , 见 Cholli 和 Kailath(1984)、Haykin(1991) \Slock 和 Kailath(1993) 以 及 Sayed 和 Kailath(1994) 等 人 的 论文 。 
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图 13.4 PUR Mw 的 FIF 算法 运算 过 程 框图 


表 13.2 FTF 算 法 小 结 


预测 
nm(n) = ali(n — 1)umri(n) 
ful) = yu(n — 1)nu(n) 
Fyln) = AFyln — 1) + nun) fel 
Fuln — 1) 


vuala) = ASS (r= 1) 








_ 0 a 
Kuata) = E - »| ta 


n) 


nul) 


Fyn =D 


antn) = antn = 1) = FHM] gay | 


Buln) = ABy(n — 1) Kyat neil) 


yu(n) = [1 一 Bb(myur(n) Ens man) Yml) 


Ma? Be = [1 一 PB%(n)ywri(n) 
bu(n) = ym(n)Bu(n) 


Kyrimri(n)] 


Buln) = ABy(n ~ 1) + Bu(n)bh(n) 


[e] = kyan) 一 km+m+l 


n)ey(n — 1) 


cu(n) = en(n = 1) = Bim] EH | 


滤波 : 
éu(n) = d(n) — WH(n — 1)um(n) 
em(n) = yu(n)éu(n) 


Walt) = yin — 1) + km(n)eh(n) 


RÈ: kusi, m (n) IAA aS E kw,i(z) 的 最 后 一 个 分 量 。 


”如果 变量 是 负数 就 进行 挽救 ; 


存储 wx (=) 作 为 初始 条 件 , 并 重新 用 于 增 广 代价 函数 


E(n) = pa"|wan) — hm) + Saree 


式 中 因子 py > 0, 以 保证 代价 函数 为 二 次 函数 。 
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13.6.1 挽救 变量 


对 FTF 算法 进行 的 实验 表明 ,在 算法 发 散 以 前 ,由 于 数值 误差 的 累积 ,算法 中 某 一 个 正 的 
量 会 变 为 负数 (Lin,1984; Cioffi & Kailath,1984)。 研 究 问题 中 的 这 个 量 等 于 M 阶 预测 误差 与 
M+ 1 阶 预测 误差 变换 因子 之 比 , 即 
buln) = taste (13.59) 
我 们 将 Sy (1) RATE BAER (rescue variable) 。 在 无 限 精度 的 理想 条 件 下 ,0 达尔 (z) 达 1。 由 于 
有 限 精度 效应 ,将 会 违反 tx (n) 这 个 允许 值 的 约束 。 
可 以 等 效 地 将 挽救 变量 表示 为 
Culn) = 1— Bh(n)yuyr(n) mr mln) (13.60) 
AP Bu(n) 是 后 向 先 验 预测 误差 , ,1,w.1(n) 是 归 一 化 增益 向 量 ky,,(n) 的 最 后 一 个 分 量 。 
式 (13.60) 表 明 , 为 了 保证 FIF 算法 的 数值 稳定 性 ,必须 对 By(n)、Yx.1(n)[ 或 等 效 地 yj'(n)] 
和 hwwi,wri(n) 的 计算 施加 严格 的 控制 。 


13.6.2 误差 反馈 


FIF 算法 的 一 个 重要 特征 就 是 刚才 提 到 的 三 个 量 [ 即 By(n)、Y Cn) 和 kasim Cn) PE 
每 一 个 都 用 两 种 不 同 的 方法 进行 计算 : 


© 通过 输入 数据 向 量 的 横向 滤波 

o 通过 某 些 标量 的 处 理 

具体 来 说 ,考虑 后 向 先 验 预测 误差 By (n) 的 计算 。 显 然 ,可 以 按 下 式 计算 这 一 误差 , 即 
BS (n) = ein — 1)nmn(n) (13.61) 


式 中 cy (n -1) 是 n -1 迹 代 时 后 向 预测 误差 滤波 器 的 抽 头 权 向 量 , uw,i(n) 是 抽 头 输入 向 量 。 
B 久 (nn) 中 的 上 标 (7) 表 示 滤 波 。 由 表 13.2 总 结 的 FTF 算法 容易 看 出 ,By (n) 可 表示 为 

BY (n) = ARy(n 一 1)km+ m(n) - (13.62) 
式 中 A 是 指数 加 权 因 子 , 员 (mn - 1) 是 最 小 后 向 先 验 预 测 误差 平方 和 , kuiua (n EAEN 
益 向 量 kw,;(n) 的 最 后 一 个 分 量 。 符 号 8? (n) 中 的 上 标 (s) 表 示 标 量 运算 。 

当 使 用 无 限 精度 运算 时 ,计算 式 (13.61) 和 式 (13.62) 所 述 Bw(n) 的 两 个 不 同方 法 将 得 到 
相同 的 结果 。 然 而 , 当 使 用 有 限 精 度 运 算 时 ,其 结果 将 各 不 相同 [对 于 ya a) kurimin), 
也 有 类 似 的 结论 ]。 

从 计算 By (ln). ya (Cn) 和 hwyi,mr1(n) 不 同方 法 得 到 的 差 信 号 可 看 做 误差 传播 机 制 的 输 
出 信和 号。 更 重要 的 是 ,它们 可 用 在 反馈 方案 中 ,用 来 影响 首次 产生 的 传播 误差 。 这 实际 上 就 是 
后 面 (将 要 讨论 的 ) 作 为 稳定 FIF 算 法 的 误差 反馈 法 的 基本 思想 (Slock & Kailath, 1991; Botto & 
Moustakides, 1989) 。 特 别 地 ,这 个 差 信 和 号 可 被 反馈 到 FTE 算法 中 的 任何 一 点 而 不 改变 RLS 算法 
的 特征 ,因为 可 用 恰当 的 运算 使 这 些 信号 消失 。 在 Slock 和 Kailath 提出 的 方案 中 ,就 是 将 差分 
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信号 反馈 到 实际 上 与 它们 有 关 的 特定 量 的 计算 过 程 中 。 
例如 ,考虑 如 何 使 By(n) 的 反馈 稳定 问题 。 若 给 定 分 别 根据 式 (13.61) 和 式 (13.62) 计 算 
出 的 两 个 有 限 精 度 值 BYP (naM 6 入 (mn) , 则 可 用 这 两 个 值 的 凸 组 合 来 定义 By(n) 的 最 终 值 , 即 


Buln) = Bi(n) + K(BW (n) — BYP(n)) 
= KBW (n) + (1 — K) BSP (n) 

式 中 天 是 反馈 常数 。 类 似 的 方法 也 可 用 来 稳定 我 们 所 关心 的 其 他 两 个 参数 yy (n) 和 
aa (n)o 

在 FIF 算 法 中 ,有 好 几 个 地 方 要 用 到 By(n) 这 个 量 。 这 就 是 在 各 种 误差 反馈 方案 中 使 用 
不 同 的 反馈 常数 天 的 原因 ,其 目的 是 为 了 在 影响 FTF 算法 的 误差 传播 方面 有 更 大 的 自由 度 
(Slock & Kailath,1991) 。 采 用 这 种 方式 选择 反馈 机 制 从 直觉 上 看 是 很 吸引 人 的 ,而 且 可 以 稳定 
误差 传播 中 的 所 有 不 稳定 模式 ,而 这 正 是 误差 反馈 的 最 终 目的 。 稳 定 算法 的 代价 是 算法 的 计 
算 复杂 度 略 有 增加 , 即 从 7M 增 到 7M+ M, 这 里 M 是 滤波 器 的 长 度 。 

因此 ,可 将 稳定 的 FTF 算法 的 操作 总 结 如 下 : 


e 使 用 前 向 和 后 向 线性 预测 ,算法 的 计算 复杂 度 与 滤波 器 长 度 M 呈 线 性 关系 。 然 而 , 算 
法 在 有 限 精 度 条 件 下 会 出 现 不 稳定 现象 。 
9 误差 反馈 用 来 把 M 阶 元 余 度 重新 引入 算法 中 。 引 入 元 余 度 的 目的 是 为 了 增强 算法 对 


(13.63) 


抗 递归 过 程 中 所 发 生 误差 的 能 力 。 
o 仅 当 指数 加 权 因 子 A 处 于 如 下 约束 范围 
1 
误差 反馈 机 制 才能 稳定 FTF 算法 , 式 中 MM 是 横向 滤波 器 的 长 度 。4 的 这 个 许可 值 包含 
了 实际 应 用 中 某 些 感 兴 趣 的 有 用 选择 。 


快速 RLS 算法 收敛 性 的 最 后 一 个 评注 是 必要 的 。 传 统 的 FTF 算法 的 误差 随时 间 呈 指数 
增长 。 与 此 相反 ,正如 第 12 章 注 释 中 所 提 到 的 ,由 Skidmore 和 Proudjer(2001) 提 出 的 卡尔 曼 增 
益 估 计 吕 (KaGE) 的 误差 随时 间 旦 线性 变化 。 这 一 方法 使 FIF 算法 的 性 能 得 到 了 明显 改善 。 


13.7 本 章 小 结 


本 章 研究 了 LMS 族 和 RLS 族 自 适 应 滤波 算法 的 数值 稳定 性 问题 。 

LMS 算法 具有 数值 鲁 棒 性 。 当 算法 在 有 限 精 度 条 件 下 工作 时 ,值得 注意 之 处 是 步 长 参数 
4 的 数值 只 能 下 降 到 某 个 数量 级 ,此 后 ,有 限 精度 LMS 算法 抽 头 权 值 舍 入 误差 的 恶化 影响 将 
变 得 很 明显 。 此 外 ,可 通过 在 算法 中 引入 泄漏 技术 来 改进 有 限 精度 LMS 算法 的 性 能 。 

如 同 RLS 算法 族 一 样 , 平 方 根 滤波 的 使 用 为 实现 数值 重 棒 性 提供 了 一 项 强 有 丸 鹏 技术 。 
对 于 空间 域 的 自 适 应 波束 形成 ,QR-RIS 算法 是 一 个 好 的 选择 , 它 是 RLS BPW A RARE A 
息 滤波 器 。 相 反 , 对 于 利用 输入 数据 时 移 不 变性 的 自 适应 滤波 器 的 时 域 应 用 ,选择 QRRAESL 
算法 就 比较 好 ,该 算法 也 来 源 于 平方 根 信息 滤波 。 根 据 RLS 算法 的 数值 稳定 性 分 析 ， OR, 可 
RLS. i! QR-RLS 和 QRD-LSL 算法 的 范围 内 ,我 们 可 以 这 么 说 : Q 


4 


$ 


a ¥ 


502 自 适 应 滤波 器 原理 


o 若 指数 加 权 因 子 1 < 1, 则 单 误差 传播 是 指数 稳定 的 。 这 一 特性 可 保证 算法 中 总 的 累积 
误差 较 小 。 
o 当 4 =1 时 ,误差 传播 不 是 收缩 的 ,因此 数值 误差 的 累积 可 能 导致 算法 发 散 。 


有 了 这 些 结论 ,我 们 还 可 以 进一步 说 :除了 单 误差 传播 外 ,我 们 对 RLS 族 自 适应 滤波 算法 
的 有 限 精 度 效 应 还 缺乏 一 个 统一 的 处 理 方法 。 

文献 中 不 时 争论 :平方根 滤波 器 是 费用 昂贵 和 计算 不 便 的 , 它 成 为 算法 整体 性 能 方面 的 一 
RSH. HAT IX EEDA ,一 些 学 者 系统 地 提出 非 平方 根 型 QR-RLS 算法 和 QRD-LSL 算法 。 这 
类 算法 不 使 用 平方 根 ,而 是 使 用 特殊 的 方法 实现 Givens 旋转 ,这 一 想法 可 追溯 到 Gentleman 
(1973) 所 做 的 工作 。 在 卡尔 曼 滤 波 中 ,为 了 避免 使 用 平方 根 ,特别 研究 了 UD 分 解法 (Bierman， 
1977)。 目 前 的 研究 表明 ,使 用 非 平 方 根 算法 实际 上 也 带 来 一 系列 问题 (Stewart & Chapman, 
1990) : 


o SEF Ty ARIA N AOAR E KR h AP a i RES BOR RE 
© 根据 平方 根 比 除法 器 阵列 简单 (或 者 ,至 多 一 样 复杂 ) 的 有 关 知 识 可 以 发 现 ,以 非 平方 根 
形式 表示 标准 自 适应 滤波 算法 ,实际 上 增加 了 它们 的 运算 复杂 度 。 


值得 注意 的 另 一 点 是 ,使 用 平方 根 的 RLS 自 适 应 滤波 算法 可 在 CORDIC 处 理 器 上 有 效 地 
编程 实现 。 该 处 理 器 中 并 不 明显 地 做 平方 根 运算 。 我 们 还 看 到 ,大 多 数 这 类 算法 均 可 通过 旋 
转 和 向 导向 这 两 种 基本 运算 进行 分 解 。 这 两 种 运算 实际 上 是 CORDIC 处 理 器 的 基础 (Volder， 
1959): 


9 旋转 ”在 旋转 模式 中 ,将 一 个 二 元 向 量 的 坐标 和 和 一 个 旋转 角 赋 给 CORDIC 处 理 器 。 
该 处 理 器 则 在 所 要 求 的 角度 旋转 后 计算 初始 向 量 的 坐标 分 量 。 . 

eth ”在 导向 模式 中 ,给 定 一 个 二 元 向 量 的 坐标 。CORDIC 处 理 器 则 旋转 该 向 量 直到 其 
角 自 变量 变 零 为 止 。 因 此 ,第 二 种 模式 中 的 旋转 角 是 初始 角 自 变量 的 负 值 。 换 言 之 , 导 
向 运算 相当 于 消除 了 二 元 向 量 的 一 个 元 素 。 


显然 ,用 CORDIC 处 理 器 可 获得 这 两 种 基本 运算 的 最 快速 实现 。 此 外 ,以 硅 片 形式 的 集成 
电路 实现 ,使 得 它 用 于 实现 平方 根 RIS 算法 方面 颇具 吸引 力 2。 


13.8 习题 


1. 考虑 利用 定点 运算 数字 实现 LMS 算法 ,如 第 13.2 节 所 讨论 的 。 证 明 由 量化 抽 头 权 向 量 产 
生 的 M x 1 误差 向 量 Aw(n) 可 以 按 下 式 进行 更 新 
Aw(n + 1) = F(n)Aw(n) + t(n) n=0,1,2,... 
式 中 F(n) 是 M x A 矩阵 ,tn) 是 Mx1 向 量 [ 从 而 ,就 定义 了 Fl(n) 和 t(n)]。 将 分 析 建 立 
在 实数 据 的 基础 上 。 
2. 利用 习题 1 的 结论 ,并 引用 第 5 章 的 小 步 长 LMS 理论 ,证 明 





@ Rader(1990) 描 述 了 一 种 在 Cholesky 分 解 基础 上 构造 的 自 适应 波束 形成 线性 脉动 阵列 ,其 硬件 由 用 VSLI 实现 的 
CORDIC 处 理 器 构成 。 
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E[Aw(n)] = 0 
. 考虑 工 和 I 两 个 横向 滤波 器 ,长 度 均 为 M。 滤 波 器 I 的 所 有 抽 头 输入 和 抽 头 权 值 都 用 无 限 
精度 形式 表示 。 滤 波 器 I 相 同 于 滤波 器 工 , 除 了 这 时 用 有 限 精 度 形式 表示 滤波 器 抽 头 权 值 
外 。 令 y(n) Al ya(z) 表 示 各 滤波 器 相应 于 抽 头 输入 u(n),u(n -1)，…z(z 一 M-1) 的 
e(n) = y(n) 一 yaln) 

假设 输入 u(n) 是 独立 随机 变量 , 昌 具 有 等 于 4 的 共同 ms 值 。 试 证 明 误差 g(n) 的 均 方 
值 可 表示 为 


E[e*(n)] = Abas X (w; — wg) 


式 中 w, et HUE w 的 量化 形式 。 
. 考虑 一 个 17 个 抽 头 、 步 长 参数 p = 0.07 的 LMS 算法 。 输 入 数据 流 具 有 等 于 1 的 均 方 根 
(ms) 值 。 
(a) 给 定 一 个 具有 12 比特 精度 的 量化 过 程 , 试 计算 相应 的 数字 残 差 值 。 
(b) 假设 抽 头 量化 是 引起 输出 误差 的 惟一 原因 。 试 利用 习题 3 的 结果 ,计算 输出 中 产生 的 
测量 误差 的 ms 值 。 并 将 这 个 误差 与 (a) 中 的 计算 结果 比较 。 
. 证 明 表 13.1 中 总 结 的 RLS 算法 能 保持 埃 尔 米 特 对 称 性 。 假 设 在 n -1 时刻, 单 量化 误差 可 
表示 为 
P(n — 1) = P(n - 1) + n(n - 1) 
式 中 P, (n - EERE P(n - 1) 的 量化 矩阵 ,mn,(n - 1) 是 量化 误差 矩阵 。 
. 在 式 (13.24) 和 式 (13.48) 中 ,我 们 用 两 种 不 同 的 方法 定义 了 抽 头 输入 向 量 u(n) 持 续 激励 的 
条 件 。 试 将 这 两 个 条 件 统一 起 来 。 
. 增 广 QR-RLS 算法 由 下 述 递归 方程 ( 见 第 11 章 的 习题 3) 定义; 
对 于 n=1,2,…, 计 算 


AEn- 1) u(n) (n) 0 
1/2,H — H n\yll2 
ee Jom =| batten, ee 
Ag 一 ti 0 Dn) — -k(n)y?(n) 


W(n) = Wn - 1) + (k(n) y(n) (Ela) y(n) 
式 中 @(z) 是 一 个 酉 旋转 , 它 对 左 阵列 进行 运算 ,以 在 右 阵 列 的 第 一 行 中 产生 零 块 项 。 
A 
X(n) = @77(n) + n(n) 
表示 埃 尔 米 特首 矩阵 理 -“(z) 的 量化 形式 。 试 证 明 ,由 于 局 部 误差 无 限 增长 ,由 — 1 
增 广 QR-RLS 算法 中 心 (z) 引 起 的 误差 传播 不 一 定 稳 定 。 
. FIF 算法 中 挽救 变量 Sy (m) 的 表达 式 由 式 (13.60) 定 义 。 试 推导 这 个 公式 。 
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在 前 面 的 章节 中 ,我 们 详细 论述 了 两 类 自 适应 滤波 算法 , 即 LMS 算法 和 RIS 算法。 我 们 
重点 讨论 了 工作 在 平稳 环境 下 标准 LMS 算法 和 RIS 算 法 的 平均 特性 。 在 这 种 环境 下 ,误差 性 
能 曲面 是 固定 不 变 的 ,而 基本 要 求 是 以 一 步 一 步 的 方式 搜索 该 曲面 的 最 小 点 ,从 而 保证 算法 具 
有 最 优 或 次 优 的 性 能 。 

FEAR ,我 们 将 考查 这 两 类 自 适应 滤波 算法 在 非 平稳 环境 下 的 工作 情况 。 在 这 种 情况 下 ， 
最 优 维 纳 解 将 是 时 变 的 。 其 最 终结 果 是 ,误差 特性 曲面 的 最 小 点 不 再 固定 不 变 。 因 此 , 自 适应 
滤波 算法 现在 又 附加 了 一 个 跟踪 最 小 点 的 任务 。 换 言 之 ,算法 要 不 断 地 跟踪 输入 信和 号 的 统计 
特性 。 当 然 , 首先 要 假设 这 种 变化 足够 慢 ,以 使 得 跟踪 是 可 行 的 。 

与 收敛 这 一 骨 态 现象 相 比 ,跟踪 是 一 种 稳 态 现象 。 由 此 可 知 ,要 检测 一 个 自 适 应 滤波 器 的 
跟踪 能 力 ,首先 要 使 它 从 瞬 态 工作 模式 切换 到 稳 态 工作 模式 ;其 次 ,滤波 器 的 自由 参数 还 必须 
连续 可 调 。 此 外 ,要 说 明 的 是 ,收敛 速率 和 跟踪 能 力 一 般 来 说 是 一 个 算法 的 两 种 不 同 特性 。 特 
别 地 ,一 个 收敛 特性 好 的 自 适应 滤波 算法 不 一 定 具 有 快速 跟踪 能 力 ,反之 亦 然 。 

我 们 从 描述 系统 辨识 的 特殊 时 变 模 型 出 发 开始 讨论 ,并 用 这 一 模型 作为 评估 标准 LMS 算 
法 和 RLS 算 法 在 非 平 稳 条 件 下 跟踪 能 力 的 基础 。 


14.1 系统 辨识 用 马尔 可 夫 模 型 


欲 使 一 个 环境 变 为 非 平稳 ,实践 中 可 用 下 列 两 种 基本 方法 之 一 : 


1) 期 望 响 应 提供 的 参考 框架 可 以 是 时 变 的 。 例 如 ,在 系统 辨识 中 , 当 一 个 自 适应 横向 滤 
波 器 用 来 建 模 一 个 时 变 系 统 时 ,就 会 出 现 这 种 情况 。 此 时 , 自 适 应 横向 滤波 器 抽 头 输 
入 的 相关 矩阵 仍然 保持 固定 不 变 (如 同 平稳 条 件 一 样 ) 而 将 抽 头 输入 与 其 望 明 应 之 站 
的 互相 关 向 量 假设 为 时 变形 式 。 

2) 加 到 自 适 应 滤波 器 抽 头 输入 上 的 随机 过 程 是 非 平稳 的 。 例 如 ,用 自 适应 横向 滤波 器 均 
衡 一 个 时 变 信道 ,就 会 出 现 这 种 情况 。 此 时 ,将 自 适应 横向 滤波 器 抽 头 输入 的 相关 甜 
阵 和 抽 头 输入 与 期 望 响应 之 间 的 互相 关 向 量 都 假设 为 时 变形 式 。 


因此 ,一 个 时 变 系统 的 跟踪 细节 不 仅 取决 于 所 采用 的 自 适应 滤波 器 ,而 且 与 所 讨论 的 具体 
问题 密切 相关 。 
在 本 章 ,我 们 将 集中 研究 非 平稳 条 件 下 的 通用 时 变 模型 。 这 个 模型 由 如 下 两 个 基本 过 程 
支配 : 
1) 一 阶 马 尔 可 夫 过 程 ” 设 用 横向 滤波 器 建 模 一 个 未 知 环境 的 动态 方程 , 则 其 抽 头 权 向 量 
w。《(n)( 即 脉冲 响应 ) 的 变化 过 程 可 用 一 个 一 阶 马 尔 可 夫 过 程 来 描述 ,其 向 量 形式 为 


Woln + 1) = aw,(n) + œ(n) (14.1) 
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AP a 是 模型 的 一 个 固定 参数 ,@(nm) 是 均值 为 零 、. 相 关 和 矩阵 为 R, (nm ) 的 过 程 噪 声 向 
量 。 用 物理 的 术语 , 抽 头 权 向 量 w,(n) 可 看 做 过 程 噪声 wm(n) 的 来 源 ,其 各 个 分 量 加 到 
一 组 单 极点 低 通 滤波 器 。 每 个 这 样 的 低 通 滤波 器 转移 函数 为 1/(1 - az-!) ,这 里 z-! 是 
单位 延迟 算 子 。 假 设 参 数 a 的 值 很 接近 1。 这 一 假设 的 意义 是 , 低 通 滤波 器 的 带宽 远 
小 于 输入 数据 的 速率 。 等 效 地 ,我 们 可 以 说 ,马尔 可 夫 模 型 要 经 过 多 次 欠 代 才能 产生 抽 
AAE w, (n) 的 显著 变化 。 
2) 多 重 回归 ”环境 的 可 测 特性 即 期 望 响应 用 d(n) 表 示 , 它 由 多 重 线 性 回归 模型 控制 , 即 
d(n) = wo (n)u(n) + v(n) (14.2) 
式 中 y(n) 是 测量 噪声 ,假设 它 是 均值 为 零 . 方 差 为 o 的 白 噪声 。 因 此 ,即使 输入 向 量 
u(n) 与 噪声 y(n) 都 是 平稳 过 程 ,但 由 于 w, (n) 是 时 变 的 ,模型 的 输出 d(n) 仍 然 是 一 
个 非 平稳 随机 过 程 。 这 就 是 对 自 适 应 滤波 器 提出 的 挑战 。 
图 14.1 是 式 (14.1) 和 式 (14.2) 的 框图 描述 。 这 里 描述 的 模型 是 图 10.1 线性 动态 模型 的 
一 个 特例 。 在 任何 情况 下 ,按照 第 10 章 中 关于 卡尔 曼 滤 波 器 的 状态 空间 术语 ,可 将 行 向 量 
u”(n) 看 做 图 14.1 线性 动态 模型 的 测量 和 矩阵。 
马尔 可 夫 过 程 多 重 回 归 过 程 





woln + 1) a(n) 





图 14.1 非 平 稳 条 件 下 的 线性 动态 模型 


在 本 章 后 面部 分 ,我 们 把 系统 辨识 看 做 感 兴趣 的 自 适应 滤波 任务 。 其 体 来 说 ,给 定 可 测 
dln) 作 为 输入 向 量 u(n) 的 期 望 响 应 。 我 们 的 任务 就 是 设计 一 个 自 适 应 滤波 器 ,使 其 跟踪 马 
尔 可 夫 模 型 的 脉冲 响应 向 量 w, (nn) 的 统计 变化 。 图 14.2 描述 了 这 个 系统 的 辨识 问题 。 该 自 
适应 过 程 涉 及 的 误差 信和 号 可 定义 为 

e(n) = d(n) — y(n) 
= wo(n)ju(n) + x(n) — w"(n)u(n) 
AP w(zm) 是 自 适 应 滤波 器 的 抽 头 权 向 量 ,这 里 假设 使 用 的 是 横向 滤波 器 ,其 抽 头 数 M 与 
WwW。(n) 所 表征 的 未 知 系统 的 抽 头 数 相 等 。 抽 头 权 向 量 w, (”) 表 示 滤 波 器 要 跟踪 的 目标 。 每 当 
Ww(n) 等 于 w,(n), 由 自 适应 滤波 器 产生 的 最 小 均 方 误差 就 等 于 不 能 降低 的 误差 方差 oo 

根据 图 14.2, 加 到 自 适应 滤波 器 上 的 期 望 响 应 a(n) 是 环境 的 可 观测 量 。 因 为 环境 是 时 
变 的 ,期 望 响 应 相应 是 非 平稳 的 。 我 们 发 现 ,在 抽 头 输入 相关 和 矩阵 具有 固定 值 R, 的 情况 下 ， 
自 适应 滤波 器 具有 一 个 “ 碗 状 ” 的 二 次 误差 性 能 曲面 ,其 位 置 在 权 值 空间 中 处 于 恒定 的 运动 状 
态 中 。 


(14.3) 
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图 14.2 用 自 适应 滤波 器 进行 系统 辨识 :假设 w,(n) 和 w(n) 的 长 度 均 为 M 


14.1.1 几 点 假设 


典型 地 ,因为 图 14.1 马尔 可 夫 模 型 中 的 过 程 噪声 向 量 w(n) 的 时 变 过 程 很 慢 ( 即 有 界 ), 这 
使 得 自 适 应 横向 滤波 器 有 可 能 使 用 LMS 或 RLS 算法 来 跟踪 未 知 环境 动态 特性 的 统计 变化 。 
为 了 进行 图 14.2 系统 辨识 问题 中 LMS 和 RLS 算法 的 跟踪 分 析 ,在 本 章 中 做 如 下 假设 : 

1) 过 程 噪声 o(n) REYES AREEN R,(n) 的 白 噪声 。 

2) 测量 噪声 v(n) 是 均值 为 零 . 方 差 为 o, WARA, 

3) 过 程 噪声 on) SWERE y(n) 之 间 彼 此 独立 。 

4) 测量 矩阵 u" (nr) 与 测量 噪声 y(n)、 过 程 噪声 @(m) 均 独立 。 


14.2 非 平稳 度 


为 了 对 模型 的 “ 慢 " 和 “ 快 "统计 变化 这 一 相当 模糊 的 概念 给 出 一 个 清晰 的 定义 ,我 们 引入 
了 非 平稳 度 (degree of nonstationarity) 这 一 概念 (Macchi，1995) 。 在 图 14.1 马尔 可 夫 模 型 中 , 非 
平稳 度 (用 a 表示) 正式 定义 为 两 个 量 [ 即 过 程 噪声 mw(n) 和 向 量 ua(z) 之 间 内 积 的 平方 幅度 的 
数学 期 望 与 测量 噪声 y(n) 平 均 功 率 的 数学 期 望 ] 之 比 的 平方 根 , 即 


a= (eng 
E[|»(n))"] 


因此 , 非 平稳 度 是 单独 时 变 系统 的 一 个 表征 , 即 与 自 适应 滤波 器 无 关 。 
按照 o@(z) 与 az) 之 间 独 立 的 假设 , 式 (14.4) 中 的 分 子 可 改写 为 





(14.4) 


第 14 章 时 变 系 统 的 跟踪 507 


E{lo"(n)u(n)|"] = Elo” (n)u(n)u(n)o(7)] 
= tr{E ne u?(n)wo(n 
= E{trle”(n)u(n)u" (n)o(n 


[o )] 

[o )] 
= pt )u(n)u"(n) | (14.5) 

[ )] 

[ ( 


} 
} 
} 
= tr{E[w(n)wo"(n)u(n)u4(n) |} 
= tr{E[o(n)oo"(n)]E[a(n)u"(n) } 


= tr[R,R,| 


这 里 r RATES AEREA, R, 是 向 量 a(n) 的 相关 矩阵 ,R。 是 过 程 噪声 wt n) 的 相关 
和 矩阵。 式 (14.4) 中 的 分 母 就 是 零 均值 测量 噪声 y(n ) 的 方差 vv,。 于 是 ,图 14.1 马尔 可 夫 模 型 
的 非 平稳 度 可 简化 为 


1 1 
a= — (t[R.R.])'” = — (t[R.R,])” (14.6) 


非 平稳 度 a 与 自 适应 滤波 器 的 失调 之 间 存 在 着 一 个 很 有 用 的 关系 。 为 了 揭示 这 一 关系 , 首 
先 注意 到 ,图 14.2 中 自 适应 滤波 器 能 够 获得 的 最 小 均 方 误差 J 等 于 测量 噪声 y(n) 的 方差 
2。 其 次 注意 到 ,在 跟踪 图 14.1 时 变 系 统 方面 , 自 适应 滤波 器 尽 最 大 努力 所 能 做 到 的 也 只 是 
产生 等 于 过 程 噪声 向 量 @(z) 的 加 权 误 差 向 量 s(n)。 若 令 相 关 和 矩阵 e(n) ETAREN), 
并 回忆 失调 的 定义 (定义 为 额外 均 方 误差 与 最 小 均 方 误差 Join = 0, 之 比 ), 则 可 利用 式 (5.99) 
写 出 
“asm! > Ra = of (14.7) 
换言之 ,失调 从 的 平方 根 可 作为 非 平稳 度 上 界 的 估计 。 
下 一 节 ,我 们 将 进一步 讨论 如 何 把 失调 作为 一 条 准则 来 评估 滤波 器 的 跟踪 特性 。 现 在 ,我 
们 利用 式 (14.7) 做 下 列 两 点 值得 注意 的 陈述 : 
D 对 于 慢 统 计 变 化 ,a 的 值 很 小 。 这 意味 着 可 能 构造 一 个 能 够 跟踪 时 变 系 统 的 自 适应 滤波 器 。 
2) 当 环 境 的 统计 特性 变化 太 快 时 ,a 的 值 可 能 大 于 1。 此 时 ,由 自 适 应 滤波 器 产生 的 失调 
超过 100% ,这 意味 着 通过 构造 自 适 应 滤波 器 来 解决 跟踪 问题 毫 无 优势 可 言 。 


14.3 跟踪 性 能 评价 准则 


若 以 w,(n) 表 示 图 14.2 中 未 知 动态 系统 的 状态 ,用 w(m) 表 示 自 适应 横向 滤波 器 的 抽 头 
权 向 量 , 则 加 权 误 差 向 量 可 定义 为 
e(n) = w,(n) — w(n) (14.8) 
根据 e(n) ,我 们 可 继续 定义 评价 自 适应 滤波 器 跟踪 能 力 的 两 个 性 能 指标 (figure of merit) o 
1) 均 方 偏差 
评价 跟踪 能 力 时 常用 的 指标 是 未 知 动态 系统 的 实际 权 向 量 w.(z) 与 自 适应 滤波 器 的 可 调 
权 向 量 w(n) 之 间 的 均 方 偏差 ,定义 为 


M = 








508 自 适应 滤波 器 原理 


@B(n) = E[|wo(n) — W(n)|"] 
= Ellle(n)|?] 
式 中 ,假设 自 适 应 滤波 器 瞬 态 过 程 结 束 时 和 迭代 次 数 n 足够 大 。 按 照 类 似 于 式 (14.5) 中 介绍 的 
步骤 ,将 式 (14.9) 改 写 为 


(14.9) 


a(n) = tr[K(n)] (14.10) 
式 中 
K(n) = Ele(n)e"(n)] (14.11) 
是 误差 问 量 s(m) 的 相关 和 矩阵。 显然 ,对 于 良好 的 跟踪 性 能 , IID ED (n) AB 
加 权 误 差 向 量 可 表示 为 


e(n) = e(a) + &(7) (14.12) 
式 中 
si(m = E[W(n)] — w(n) (14.13) 
是 权 向 量 噪声 ,其 中 EL[w(n)] 是 抽 头 权 向 量 的 集 平均 值 , 而 
e(n) = wo(n) 一 E[%(n)] (14.14) 
ERGER., SMB 14.1 节 的 假设 ,s(n) 与 &(n) 内 积 的 数学 期 望 为 零 , 即 
Elef'(n)es(n)] = Ele$(n)ei(n)] = 0 (14.15) 
因此 , 均 方 偏差 可 表示 为 
B(n) = Di(n) + Dn) (14.16) 
式 (14.16) 中 第 一 项 (nm) 是 由 权 向 量 噪声 引起 的 估计 方差 ,定义 为 
D (n) = E[|e,(n)|7] (14.17) 


即使 在 平稳 条 件 下 ,也 会 出 现 估计 方差 9 (n) BD (n) URN HE FE A a ER 
引起 的 ,可 定义 为 
m(n) = E[|je2(n)|"] (14.18) 

多.(n) 的 存在 是 环境 非 平稳 特性 的 证 据 。 如 式 (14.16) 所 述 , 均 方 偏 差 多 (nn) 分 解 为 估计 方差 
Di (nn) MIB GET ED: (n) ,该 特性 称 为 解 耦 特性 (Macchi，1986a,b)。 

2) 失调 量 

评估 自 适应 滤波 器 跟踪 能 力 的 男 一 个 通用 数值 指标 是 失调 ,定义 为 
Jan) 

2 


Oy 


Mn) = (14.19) 


AP J。(n) 是 自 适应 滤波 器 的 额外 (残余 ) 均 方 误差 , 它 是 相对 于 图 14.2 未 知 模型 输出 端的 白 
噪声 分 量 y(n) 的 方差 o, 测量 得 到 的 。 这 里 ,再 一 次 假设 过 渡 过 程 终 止 时 迭代 次 数 n 足够 大 。 
不 难 发 现 ,对 于 良好 的 跟踪 性 能 , HR ML (nn) DF 1。 

如 同 均 方 偏差 那样 ,按照 第 14.1 节 中 所 做 假设 ,额外 均 方 误 差 J。(n) 也 可 以 表示 为 两 个 
分 量 Ju (nz) 和 Jw(n) 之 和 。 第 一 个 分 量 Jen (=) 是 由 权 向 量 噪声 ae (nm) 引 起 的 , 称 为 估计 品 
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声 。 第 二 个 分 量 Jen (nr) EAR REIS &(n) 引 起 的 , 称 为 延迟 噪声 。J (in) 项 的 存在 直接 
轨 因 于 环境 的 非 平 稳 特 性 。 因 此 ,可 将 失调 量 表示 为 
M(n) = My(n) + Ms(n) (14.20) 

KPM (Cn) = Jalo, Fl (n) = Jw/o;。 其 中 第 一 项 U1(n) 称 为 噪声 失调 ,第 二 项 负 ;(n) 称 为 
延迟 失调 。 于 是 , 解 看 特性 对 于 失调 量 来 说 也 是 正确 的 ,因为 估计 噪声 和 延迟 噪声 在 功率 上 是 
FBRo 

一 般 来 说 ,两 个 性 能 指标 9(z) 和 .以 (=) 都 取决 于 迭代 次 数 ( 时 间 )m。 此 外 ,正如 随后 分 析 
所 要 揭示 的 ,上 述 两 个 指标 以 互补 的 方式 强调 了 跟踪 问题 的 两 个 不 同方 面 。 


14.4 LMS 算法 的 跟踪 性 能 


为 了 着 手 研究 跟踪 问题 ,考虑 图 14.2 的 系统 模型 ,图 中 的 自 适应 (横向 ) 滤 波 器 使 用 LMS 
算法 。 根 据 此 算法 , 自 适 应 滤波 器 抽 头 权 疝 量 的 更 新 公式 可 表示 为 
(n + 1) = Wn) + pu(n)e*(n) (14.21) 
RP u 是 步 长 参数 [参见 式 (5.8)]。 将 式 (14.3) 中 的 误差 信号 e(n) 代 入 式 (14.21) ,可 用 展开 
形式 重新 表示 LMS 算法 为 
W(n + 1) = [I — pu(n)u(n)|w(n) + un)a (nn)w,(n) + a(n)v*(n) (14.22) 
RHK, WAER (14.8) 24 AIRE eln) EMR. DAMM SRA RAY 
描述 ,合并 同类 项 后 可 写 出 
e(n +1) = wn + 1) — W,(n + 1) 
= [I — pu(n)u"(n)Je(n) — (1 — a)w,(n) — pu(n)y*(n) + wn) 
式 中 工 是 单位 阵 。 线 性 随机 差分 方程 式 (14.23) 完 整地 描述 了 嵌入 在 图 14.2 系统 模型 中 的 
LMS 算法 。 基 于 式 (14.23) 的 马尔 可 夫 模 型 的 一 般 跟 踪 理 论 仍 处 在 进一步 发 展 之 中 。 通 常 采 
取 的 方法 是 假设 模型 的 参数 a 非常 接近 于 1, 以致 于 可 以 忽略 (1- a)w, 项 。 为 此 ,实际 上 我 
们 这 里 正在 研究 一 种 用 于 随机 游 动 模型 的 跟踪 理论 (Macchi，1995)。 因 此 , 当 a = 1 时, 式 
(14.23) 可 简化 为 
e(n +1) = [I - pu(n)u"(n)Je(2) — paln)v*(n) + ofn) (14.24) 
典型 地 ,为 了 得 到 好 的 跟踪 性 能 ,通常 对 步 长 参数 A 赋予 一 个 很 小 的 值 。 在 这 种 情况 下 ,我 
们 可 引用 前 面 第 5 章 中 讨论 的 直接 平均 方法 (Kushner，1984) ,从 式 (14.24) 中 求 出 加 权 误 差 向 
量 (nn)。 必 须 特别 指出 , 当 jy 很 小 时 ,线性 随机 差分 方程 式 (14.24) 的 解 s(z ) 接 近 于 用 集 平 
H(I- uR, RARE - ju(n)u*(n)] 得 到 的 另 一 个 线性 随机 差分 方程 的 解 ,这 里 R, 
是 输入 向 量 aa) 的 相关 和 矩阵。 这 一 新 的 随机 差分 方程 可 表示 为 
€o(n + 1) = (I — pR,)eo(n) — pu(n)v*(n) + w(n) (14.25) 


(14.23) 


D 在 某 些 实际 应 用 中 ,为 了 快速 收敛 ,人 们 通常 赋予 上 一 个 较 大 的 值 , 该 值 可 能 超过 小 步 长 理论 范围 。 为 了 应 付 由 此 
导致 的 进退 两 难 的 局 面 , Perrier 等 (1994) 使 用 了 扰动 扩张 法 [该 法 首先 由 Solo 提出 (1992) ] 来 研究 LMS 算法 的 稳 态 
性 能 。 特 别 地 , Perrier 等 说 明了 如 何 明确 地 将 输入 信号 的 相关 系数 集成 到 p 的 二 阶 特性 中 。 
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式 中 am (az) 是 对 加 权 误 差 向 量 sg(z) 的 小 步 长 近似 。 
对 相关 和 矩阵 R, 进行 西 相似 变换 ,得 到 
QFR,Q = A, (14.26) 
式 中 A, = (An e EKER R, 的 特征 值 组 成 的 对 角 阵 ,Q EAER, ET i 
与 上 述 特征 值 有 关 的 特征 向 量 的 正 交集 。 
然后 ,按照 与 第 5.4 节 中 所 述 小 步 长 LMS 理论 类 似 的 步骤 ,可 以 将 随机 差分 方程 (14.25) 
变换 为 近似 解 耦 的 差分 方程 组 , 即 


u(n + 1) = (1 — maelan) + p(n) k =1,2,...,M (14.27) 
式 中 正常 模式 v,(n) 是 变换 向 量 的 第 个 分 量 
v(n) = Qeo(n) (14.28) 
而 加 (n) 是 均值 为 零 的 随机 激励 ,定义 为 
b(n) = pq u(n)v*(n) + aoln) (14.29) 


AP q SEXTET REE A, PGE AAKER R, 的 第 个 特征 值 来 近似 过 程 噪声 
wm(n) 在 q 上 投影 的 方差 %,,; W 加 (n) 的 方差 可 表示 为 
o, = worden thks k=1,2,...,M. (14.30) 
式 (14.27) 描 述 的 方程 组 提供 了 评价 应 用 于 图 14.2 系统 辨识 问题 的 LMS 算法 跟踪 性 能 的 
数学 基础 。 


14.4.1 BAKE 


根据 式 (5.92) ,在 小 步 长 假设 下 ,LMS 算法 的 均 方 偏差 定义 为 
a(n) ~ E[eo(n)|/] 





M (14.31) 
| = Allen? 
ER BIER (A n 取 很 大 ) 后 ,上 式 取 为 
~ 1S dos 
Bin) = 5 Mo? + 2 Š ha (14.32) 
[ 式 (14.32) 的 推导 留 做 练习 ,见习 题 5,] 均 方 偏差 可 以 等 效 地 表示 为 
Bin) = 5 Mo? + 5c IRR.) 当 n 很 大 时 (14.33) 


AP ol: ] 表 示 和 矩阵 求 迹 运 算 。 

式 (14.33) 中 的 第 一 项 yMo?/2 是 由 测量 噪声 y(n) 引 起 的 估计 方差 , 它 随 步 长 参数 呈 线 性 
变化 。 第 二 项 el RR, ]/2x 是 由 过 程 噪声 向 量 @(z) 引 起 的 延迟 方差 ;该 项 与 步 长 参数 y 成 
反比 , 它 人 允许 较 快 的 跟踪 速度 。 

用 jw 表示 均 方 偏差 获得 最 小 值 久 wi 时 的 最 佳 步 长 参数 。 当 估计 方差 和 延迟 方差 对 均 方 
偏差 的 贡献 相同 时 ,可 实现 这 个 最 优 条 件 。 从 式 (14.33) 容 易 发 现 


1 _ 1/2 
opt © tr[R R, 
Hopt © zzz IRR) (14.34) 





Al 
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Brin ~ 0,VM(tr[R;'R,])\” (14.35) 


14.4.2 LMS 算法 的 失调 量 
为 了 计算 图 14.2 所 述 系统 辨识 场合 LMS 算法 的 失调 量 , 可 利用 式 (5.91) 写 出 


1# 2 
M = 52 a) ] (14.36) 
经 多 次 和 迭代 后 ,其 期 望 值 可 表示 为 
u M 1 M 
YT + Fao? Da ho (14.37) 
[ 式 (14.37) 的 推导 留 做 练习 ,见习 题 6。] 等 效 地 ,可 将 LMS 算法 的 失调 量 表示 为 
1 
Mx 5 t[R, | + z YIR] 4 n WAR (14.38) 


第 一 项 pete R, ]/2 是 由 测量 噪声 v(n) 引 起 的 噪声 失调 ,其 形式 与 平稳 条 件 下 相同 ;对 此 ， 
我 们 并 不 惊奇 。 第 二 项 LR, ]/2po? 是 由 过 程 噪声 向 量 w( n) 引 起 的 延迟 失调 ,用 来 表征 环境 
的 非 平稳 性 。 

噪声 失调 随 步 长 参数 p 呈 线 性 变化 ,而 延迟 失调 与 w 成 反比 。 当 估计 噪声 功率 与 迟延 品 
声 功 率 相等 时 ,失调 量 达 到 最 小 值 Uw, ,此 时 获得 步 长 参数 we 的 最 优 值 。 从 式 (14.38) 易 知 





1 At R, 1/2 
Hopt x (中 (14.39) 
和 
Min ~ S(t „ltr[R,]} 7 (14.40) 


式 (14.34) 和 式 (14.39) 意 味 着 ,对 均 方 偏差 和 失调 量 这 两 个 性 能 指标 进行 优化 时 ,通常 会 得 到 
步 长 参数 p 的 不 同 最 优 值 。 这 并 不 奇怪 ,因为 这 两 个 指标 从 不 同 侧面 注目 跟踪 问题 。 此 外 ， 
在 选择 步 长 参数 时 ,总 是 假设 其 最 优 值 u 在 均 方 意义 下 满足 LMS 算法 的 收敛 条 件 。 


14.5 RLS 算法 的 跟踪 性 能 


下 面 考虑 RLS 算法 如 何 用 于 实现 图 14.2 系统 模型 中 的 自 适 应 滤波 器 。 回 顾 第 9 章 的 式 
(9.22) 到 式 (9.25) 可 知 ， 自 适应 视 向 站 波 器 权 疝 量 相应 的 更 新 方程 可 表示 为 如 下 形式 
w(n) = Wn — 1) + B® (n)u(n)Eé*(n) (14.41) 
式 中 ( 当 忽 略 正则 化 项 时 ) 


=o" ‘u(i)u” (i) (14.42) 


是 输入 向 量 ua(z) 的 相关 和 矩阵, 且 
é(n) = d(n) — Wi(n — 1)u(n) (14.43) 
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是 先 验 估计 误差 。 式 (14.42) 中 ,4 是 0<4<1 区间 内 的 一 个 指数 加 权 因 子 。 
为 了 容纳 式 (14.41) 中 的 权 向 量 在 记号 方面 较 之 式 (14.21) 出 现 的 少许 变化 ,将 式 (14.1) 的 
一 阶 马尔 可 夫 模 型 和 式 (14.2) 的 期 望 响应 d(n) 分 别 修 改 如 下 
wo(n) = aw,(n — 1) + @(n) (14 .44) 
和 
d(n) = wo (n — 1)u(n) + v(n) (14.45) 
因此 ,利用 式 (14.41) ` 式 (14.44) 和 式 (14.45) , RLS 算法 加 权 误 差 向 量 的 更 新 方程 可 表示 为 
e(n) = [I — ®'(n)u(n)u4(n)je(n — 1) — ®"(n)u(n)y*(n) 
(14.46) 
— (1 — a)w,(n — 1) + w(n) 
AP IERM, R TIERS EA Eb, Be VE LE DT (14. 46) ETRA 
在 图 14.1 系统 模型 中 RLS 算法 的 一 个 完整 描述 。 如 同 LMS 算法 一 样 ,我 们 也 假设 模型 参数 a 
非常 接近 1 ,以 致 于 可 以 忽略 (1- a)w,(n - 1) 项。 也 就 是 说 ,可 用 随机 游 动 模型 描述 过 程 方 
程 。 因 此 , 式 (14.46) 可 简化 为 
e(n) = [I — D(nju(n)jua”(n)]e(n — 1) — Bn)u(n)*(n) + oln) (14.47) 
ERAT AZ BY, H EFRA O (n) HNR, VA EAE RIS 算法 的 跟踪 分 
析 数 学 上 易于 处 理 。 为 此 ,首先 对 式 (14.42) 两 边 求 数学 期 望 , 则 得 


F[@(n)] = 


M= 


t 


Ul 


Aa" Elu(iju’ (i) | 


= 


(14.48) 


A"R, 


7 
= 


=R, (1 +A +A? ++ + A771) 


式 中 R, 是 输入 向 量 um) 的 集 平 均 相关 矩阵 。 式 (14.48) 右 边 圆 括号 内 的 序列 代表 一 个 首 项 
为 1, 公 比 为 ,长 为 于 的 几何 级 数 。 现 在 假设 ,收敛 模式 基本 结束 时 迭代 次 数 n 足够 大 。 在 
这 个 条 件 下 ,我 们 可 把 该 几何 级 数 基本 上 看 做 是 无 限 长 的 。 这 样 ,利用 级 数 的 求 和 公式 , 式 
(14.48) 可 简化 为 
R, 

1 一 从 
式 (14.49) 定 义 了 中 (n) 的 数学 期 望 ( 集 平均 )。 在 此 基础 上 ,可 将 (n) 表 示 如 下 (Eleftheriou & 
Falconer, 1986) 


E[®(n)] = 





nih (14.49) 


R, x 
7-, 7 2) ” 当 n 很 大 时 (14.50) 


式 中 鲁 (n) 是 埃 尔 米 特 扰动 矩阵 ,其 各 个 元 素 可 用 零 均值 随机 变量 表示 ,该 随机 变量 与 输入 向 
量 uCn) 统 计 独 立 。 设 有 一 个 慢 自 适 应 过 程 ( 即 指数 加 权 因 子 A 接近 于 1) ,我 们 可 将 式 (14.50) 


@(n) = 
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中 的 @@(m) 看 做 一 个 准确 定性 矩阵 ,因为 当 很 大 时 ,存在 下 述 关系 ? 
E[I® EP] < ELBA) PF] 


AF l l 表示 矩阵 范 数 。 在 这 个 条 件 下 ,可 进一步 将 扰动 矩阵 吾 (”) 忽 略 不 计 , 于 是 相关 和 矩 
O(n) AEA 





O(n) ~ ae 当 n 很 大 时 (14.51) 
这 一 近似 对 分 析 RLS 算法 的 跟踪 性 能 是 很 关键 的 。 同 理 , 逆 矩阵 ~'(n) 可 表示 为 
(n) = (1 -AR ” 当 n 很 大 时 (14.52) 


WP R;! EREHE R, WB. 
回 到 式 (14.47) ,并 对 O (n) RARO. 52) WE, SAYS 
e(n) = [I 一 (1 一 A)Rziu(m)us(m)]s(m - 1) 

— (1 — A)R,*a(n)p*(n) + œ(n) 当 n 很 大 时 
典型 地 ,指数 加 权 因 子 A 接近 于 1, 以 致 1-4 很 小 。 于 是 ,引用 第 5.4 节 中 介绍 的 直接 平均 
法 ,可 以 看 出 ge(n) 的 值 与 以 go(n) 为 变量 的 新 的 随机 差分 方程 的 解 很 接近 

€,(n) = Aeg(n — 1)— (1 - A)Rz un)v*(n) + w(n) %4 nif Ki (14.54) 
RLS 算法 中 式 (14.54) 具 有 完全 不 同 于 LMS 算法 中 式 (14.25) 的 形式 , 这 正 是 我 们 所 预期 的 。 
计算 式 (14.54) 中 & (nm) 的 相关 和 矩阵 ,并 引用 第 14.1 节 的 假设 ,可 以 得 到 
Ko(n) = 和 Koln — 1) + (1 - APER +R, “niki (14.55) 
当 nn 很 大 时 ,对 于 差分 方程 式 (14.55) 的 稳 态 解 ,我 们 可 立即 令 Ko(n - 1) = Ko(n)。 在 这 个 条 
件 下 , 式 (14.55) 可 简化 为 
(1 一 和 2)Koln) = (1 — APR; +R, 当 n 很 大 时 (14.56) 
当 A 接近 于 1 时 ,有 如 下 近似 关系 式 
1-A=(1-A)(1 +A) 
~ 2(1 — A) 
因此 ,RLS 算法 的 相关 和 矩阵 可 进一步 简化 为 


1-A 4, 1 
zx —— +———_R 
K,(7) > oR, 21 — a) ® 


这 是 评价 图 14.2 系统 辨识 问题 中 RIS 算法 跟踪 能 力 的 方程 ,其 约束 条 件 是 a 接近 于 1。 
14.5.1 RLS 算法 的 均 方 偏差 
由 式 (14.10) ~ 式 (14.58) 可 以 发 现 ,RILS 算法 的 均 方 偏差 定义 为 


@@。 有 关 相 关 怎 阵 名 (n) 是 准确 定性 矩阵 的 完整 的 一 般 性 证 明 可 见 相 关 的 参考 文献 。 Fleftheriou 和 Falconer(1986) 首 先 
使 用 启发 式 论证 方法 探讨 了 这 个 问题 。 而 后 Macchi 和 Bershad(1991) 证 明了 这 一 结论 对 一 个 非 平稳 信和 号, 即 噪声 啊 
呈正 弱 也 成 立 。 我 们 通常 遇 到 的 正弦 与 白 高 斯 噪声 的 合成 信号 是 这 种 信号 的 一 个 特例 。 而 且 , 如 果 我 们 能 证 明基 
个 结论 在 这 种 信和 号 条 件 下 成 立 , 那 么 这 一 结论 在 平稳 条 件 下 也 成 立 。 然 而 ,由 Macchi 和 Bershad 提出 的 证 明 有 其 局 
限 性 , 即 它 依赖 于 后 续 输入 向 量 统 计 独 立 这 一 不 现实 的 假设 。 


(14.53) 


(14.57) 


当 n 很 大 时 (14.58) 
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— t 
2(1 — A) 
第 一 项 (1- A) trlR']2 是 由 测量 噪声 y(n) 引 起 的 估计 方差 。 第 二 项 [R ]/2(1 - 2) 22 
过 程 噪声 向 量 wm(n) 引 起 的 延迟 方差 。 这 两 项 贡献 的 变化 分 别 与 (1 - 4) 和 (1 - 1)-:! 成 正比 和 
成 反比 。 当 这 两 项 贡献 相同 时 ,遗忘 因子 达到 最 优 值 M。,。 故 由 式 (14.59) 容 易 求 出 

A “1 )" 

opt T, \tr[R;'] 

因此 ,RLS 算 法 的 最 小 均 方 偏差 为 

Din s otr (Ri [R] (14.61) 
14.5.2 RLS 算法 的 失调 

将 式 (14.58) 两 边 同 时 乘 以 及 , ,得 到 
1 — 
RAK) © SAO ta RR, Si ntti (14.62) 


式 中 I 是 一 个 Mx M 单位 阵 , 这 里 M 是 自 适应 横向 滤波 器 的 抽 头 数 。 从 而 对 式 (14.62) 求 迹 ， 
得 


a(n) < 工 二 oztr[Rz] + 





tr[R,| ” 当 n 很 大 时 (14.59) 





(14.60) 








t[R,Ky(n)] < >“ ot + z RR,] 当 n 很 大 时 (14.63) 
最 后 ,利用 式 (14.20) 容 易 求 出 ,RLS 算法 的 失调 量 为 
NM) = SAM + RR] 当 n 很 大 时 (14.64) 


式 中 右边 的 第 一 项 表示 由 测量 噪声 v(n) 引 起 的 RLS 算法 的 噪声 失调 ;该 项 随 1 -4 呈 线 性 变 
化 ,而 且 依赖 于 自 适应 横向 滤波 器 中 的 抽 头 数 M。 式 中 第 二 项 是 由 过 程 噪声 向 量 w(n) 引 起 
的 RLS 算 法 的 延迟 失调 , 它 与 1- 4 成 反比 。 当 它们 对 失调 量 的 影响 相等 时 ,遗忘 因子 达到 最 
优 值 \。。 于 是 ,由 式 (14.64) 可 求 出 该 最 优 值 


1/1 1/2 
Nope © 1 — = (E (R.R.]) (14.65) 
因此 ,由 RLS 算法 产生 的 最 小 失调 可 表示 为 
Manin ~ + (M tr [RR] (14.66) 


这 里 ,我 们 再 次 发 现 , 最 小 失调 和 最 小 均 方 偏差 这 两 个 准则 导致 不 同 的 最 优 遗 忘 因 子 值 o 
为 了 使 这 些 值 有 意义 ,必须 满足 0<4。 < 1。 

至 此 ,有 了 我 们 所 需要 的 全 部 工具 , 便 可 在 图 14.2 系统 模型 的 LMS 算法 和 RLS 算法 之 间 
进行 定量 比较 。 


14.6 LMS 算法 和 RLS 算法 的 跟踪 性 能 比较 


由 于 LMS 算法 和 RLS 算法 是 以 完全 不 同 的 方式 构造 的 , 故 易 看 出 ,它们 不 但 呈现 不 同 的 
收敛 特性 ,而且 跟 踪 性 能 也 不 同 。 跟 踪 性 能 的 差异 来 源 于 随机 差分 方程 式 (14.25) 和 方程 式 


第 14 章 时 变 系 统 的 跟踪 515 


(14.54)。 在 RLS 算法 中 ,输入 向 量 ERKE R ,这 正 是 它 与 LMS 算法 之 间 的 本 质 区 
别 。 此 外 ,通过 比较 作为 前 两 节 跟 踪 分 析 基 础 的 式 (14.25) 和 式 (14.54) 可 以 看 出 ,在 宽松 的 意 
OCF RLS 算法 中 1- 4 的 作用 类 似 于 LMS 算法 中 w 的 作用 。 在 进行 这 个 类 比 时 ,我 们 总 是 力 
图 做 得 更 精确 。 特 别 地 ,指数 加 权 因 子 A 是 无 量 纲 的 ,而 步 长 参数 w 的 量 纲 是 功率 量 纲 的 倒 
数 。 为 了 消除 这 个 量 纲 差异 ,我 们 做 如 下 工作 : 


o 对 于 LMS 算法 ,定义 归 一 化 步 长 参数 
Unom = HOG (14.67) 
AP c* 是 零 均 值 抽 头 输入 u(n) 的 方差 。 
e 对 于 RLS 算 法 ,定义 遗忘 率 
B=1-A (14.68) 
下 面 转 到 我 们 感 兴趣 的 主要 问题 ,分 别 使 用 式 (14.35) FSR (14.61) 以 及 式 (14.40) 和 式 
(14.66) 表 示 一 对 比率 ,用 来 比较 现 有 系统 辨识 问题 中 LMS 算法 与 RLS 算法 的 “最 优 ?跟踪 性 


能 。 在 这 一 对 比率 表达 式 中 ,一 个 基于 均 方 偏差 的 性 能 指标 ,而 男 一 个 基于 失调 量 的 性 能 指 
标 ; 即 








DHS ( Mitr[R2'R, | )” 

98 \tr[R;'] tr[R。] (14.69) 
和 

MIMS tr[R,] tr[R,]\ 12 

MES ~ ( Mtr[R,R,] ) (14.70) 


AF R, 是 输入 向 量 u(n) 的 相关 和 矩阵, R, 是 过 程 噪声 向 量 o 的 相关 和 矩阵, M 是 图 14.2 中 自 
适应 横向 滤波 器 的 抽 头 数 。 显 然 , 当 以 式 (14.69) 和 式 (14.70) 为 基础 比较 LMS 算法 和 RLS 算 
法 的 跟踪 性 能 时 ,其 结果 取决 于 有 关 的 环境 条 件 ,特别 是 取决 于 如 何 定义 相关 和 矩 阵 R, 和 R,。 
下 面 , 考 虑 下 列 三 个 特殊 例子 中 。 
例 1: R. = oI 
首先 ,考虑 来 源 于 均值 为 零 、 方 差 为 0, ARER.) -NARTA PRE 
声 向 量 @(z) 的 情况 。om(m) 的 相关 短 阵 可 表示 为 
R, = o21 (14.71) 
AP IŽ Mx M 单位 阵 。 将 式 (14.71) 分 别 代 入 式 (14.69) 和 式 (14.70), 并 消去 公共 项 后 ,其 
结果 为 
DEMS ~ DRS R, = o2I (14.72) 


和 和 





D 例 1 曾 在 Widrow 和 Walach(1984) 及 Eleftherion 和 Falconer(1986) 的 论文 中 讨论 过 。 例 2 和 例 3 曾 在 Benveniste 等 
(1987) Æ Slock 和 Kailath(1993) 的 论文 中 讨论 过 。 


516 自 适 应 滤波 器 原理 
MEMS ~ MRES R, = æI (14.73) 

由 此 可 见 ,不 管 输入 向 量 u(n) 的 统计 特性 如 何 变 化 ,只 要 过 程 嗓 声 向 量 oln) HAREA 
产生 ,LMS 算法 和 RLS 算法 产生 的 最 小 失调 和 最 小 均 方 偏差 都 基本 相同 。 

例 2: R,=cR, 

其 次 ,考虑 另 一 个 例子 。 在 该 例子 中 , 式 (14.1) 一 阶 蕊 尔 可 夫 模 型 中 的 过 程 嗓 声 向 量 
o(n) HAXER, 等 于 某 一 常数 ci 乘 以 输入 向 量 u(n) 的 相关 答 阵 RR,。 这 里 引入 比例 因子 
ci, 由 于 以 下 两 个 原因 : 


1) 为 了 说 明 过 程 噪声 向 量 w(n) 和 输入 向 量 (nn) 通 常 是 用 不 同 单位 测量 的 。 
2) 为 了 保证 式 (14.34) 或 式 (14.39) 中 LMS HGR u 值 ,以 及 式 (14.60) 或 式 (14.65) 
中 RIS 算法 的 最 优 A 值 是 有 意义 的 值 。 


因此 ,在 式 (14.69) 和 式 (14.70) 中 , 令 R, = oR, 并 消去 比例 因子 ci 后 ,得 到 表 14.1 PH 
在 R= ciR, 栏 下 面 的 两 个 比较 的 衡量 标准 。 在 评论 这 些 结果 之 前 ,继续 考虑 下 一 个 与 本 例 
互补 的 例子 ,将 是 很 有 指导 意义 的 。 

6) 3: R, = c.R,' 

在 最 后 的 例子 中 ,过 程 噪声 向 量 O(n) hA R 等 于 某 一 常数 c, 乘 以 输入 向 量 
u(n) XE R, 之 送 。 这 里 使 用 比例 因子 ce, 的 缘由 与 例 2 相同 。 因 此 ,在 式 (14.69) 和 式 
(14.70) 中 , 令 R, = cz?R ,并 消去 比例 因子 c 后 ,可 得 到 表 14.1 PAAR, =c.R)' 之 下 的 两 
个 比较 的 衡量 标准 。 

表 中 示 出 的 2x2 阵列 项 显示 出 一 个 很 有 用 的 特性 , 即 倒数 对 称 性 。 这 个 性 能 在 跟踪 范围 
内 的 重要 意义 现在 将 变 得 很 明显 。 

该 阵列 中 的 跨 对 角 项 适合 于 应 用 柯 丁 - 许 瓦 英 不 等 式 (Cauchy-Schwarz inequality) ,这 导致 
两 个 很 有 用 的 界 ( 见 习题 7) , 即 

MMS < EES 对 于 R, = cIR， (14.74) 
和 
Die < OHM 对 于 及 。= oR; (14.75) 
表 14.1 例 2 和 例 3 中 LMS 算 法 和 RLS 算法 的 比较 标准 


R, = oR, R, = czRzl 





ais M (M tr[R,?])'? 
DRES (tr[R;"] tr[R,]) tr[Rz] 
MEMS tr[R,] 





1 -1931/2 
A queme? M (tle) 


这 两 个 界限 实际 上 是 倒数 对 称 性 的 表现 形式 。 在 此 基础 上 ,我 们 可 做 如 下 陈述 .: 
1) 当 R, =c R, 时 ,LMS 算法 的 性 能 优 于 RIS 算法 ,这 是 因为 它 产 生 的 最 小 失调 Mi 小 于 
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RIS 算法 的 最 小 失调 。 
2) 当 R, =c R, 时 ,RIS 算法 的 性 能 优 于 LMS 算法 ,这 是 因为 它 产生 的 最 小 均 方 偏差 
D min VF LMS 算法 的 最 小 均 方 偏差 。 
然而 一 般 来 说 ,我 们 不 能 根据 表 14.1 中 对 角 项 的 含意 得 出 结论 性 的 意见 。 不 过 ,按照 前 
面 提 到 的 倒数 对 称 性 ,我 们 可 以 这 样 说 :车 R, = c R, 时 ，LMS 算法 的 最 小 均 方 偏差 名 wis 小 于 
RLS 算法 的 最 小 均 方 偏 差 ; 而 当 R, = c,R; 时 ,RLS 算法 的 最 小 失调 小 于 LMS 算法 的 最 小 
失调 。 
为 了 说 明 后 一 论述 的 正确 性 ,考虑 一 个 有 =2 的 自 适 应 滤波 器 。 此 时 ,输入 向 量 a(n) 4 
2x2 相 关上 矩阵 可 表示 为 


— |i 1 = 
R, = | ri2= r 
roy 122 


对 于 这 个 特定 的 R,, 表 14.1 中 2x2 阵列 项 取 为 表 14.2 的 特殊 形式 。 其 次 ,容易 看 出 ,任何 
2x2 相 关 短 阵 都 满足 如 下 条 件 
(ri, 一 ry) + (2r) 之 0 
WR 14.2, 我 们 可 以 对 阵列 中 四 项 做 如 下 说 明 : 
1) 当 及 = cIR, 时 ,LMS 算法 的 性 能 优 于 RLS 算法 ,这 是 因为 ,与 RLS 算法 相 比 , 它 的 最 
小 均 方 偏差 9 和 最 小 失调 mn 都 更 小 。 
2) 当 R, = c?R7I: 时 ,RIS 算法 的 性 能 优 于 LMS 算法 ,这 是 因为 ,与 LMS 算法 相 比 , 它 的 最 
小 均 方 偏差 四 mn 和 最 小 失调 Nmn 都 更 小 。 
B) 2 和 例 3 清楚 地 说 明 ,无 论 是 LMS 算法 还 是 RLS 算法 ,都 不 能 完全 独占 良好 的 跟踪 性 
能 。 相 反 ,我 们 发 现在 非 平稳 条 件 下 进行 跟踪 时 ,优先 选用 这 两 种 自 适应 滤波 算法 中 的 哪 一 种 
要 取决 于 相关 的 环境 条 件 。 


表 14.2 例 2 和 例 3 中 当 M=2 时 LMS 算 法 和 RLS 算法 的 比较 标准 








R, = cR, R, = eR, 
BMS M (Mtr[RZ]) 
DAR (tr[Rz] tr[R,,]) tr[R;'] 
AMS tr[R,] 


1 -11\1/2 
Ws mupp? a RD 








14.7 ”如何 改进 RLS 算法 的 跟踪 性 能 


众所周知 ,对 于 一 个 给 定 的 线性 时 变 系 统 模型 , 当 其 工作 环境 为 高 斯 特性 时 ,卡尔 曼 滤波 
器 具有 最 优 的 跟踪 算法 。 由 第 10 章 介绍 的 内 容 可 知 ,卡尔 曼 滤波 器 和 RLS 滤波 器 之 间 存 在 着 
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一 一 对 应 关系 。 简 而 言 之 ,RLS 滤波 器 是 卡尔 曼 滤 波 器 的 一 个 特例 。 然 而 ,为 什么 RLS 滤波 器 
及 其 变种 不 完全 具有 卡尔 曼 滤 波 器 所 固有 的 良好 跟踪 特性 呢 ? 在 对 这 一 进退 两 难 的 问题 给 出 
可 能 的 解释 之 前 ,有 必要 回顾 一 下 标准 RLS 算法 的 状态 空间 模型 , 它 可 表示 为 ( 见 第 10.8 节 ) 
x(n + 1) = 和 -2X(P) (14.76) 
y(n) = u"(n)x(n) + v(n) (14.77) 
将 这 个 状态 空间 模型 与 式 (14.1) 描 述 的 一 阶 马尔 可 夫 模 型 和 式 (14.2) 的 多 回归 模型 进行 比较 
立即 可 以 看 出 ,这 两 种 情况 之 间 严 重 失 配 。 特 别 地 ,状态 方程 式 (14.76) 中 过 程 噪声 为 零 , 这 直 
接 违 背 了 式 (14.1) 描 述 的 马尔 可 夫 模 型 中 所 隐 含 的 内 容 ( 即 过 程 噪声 不 为 零 ) 。 容 易 看 出 ,RLS 
算法 与 模型 有 关 , 由 此 便 知 该 问题 的 根源 。 
我 们 想 传 递 的 信息 是 ,如 果 系 统 设 计 者 知道 所 研究 问题 ( 某 个 特殊 任务 ) 基 本 物理 模型 的 
先 验 知识 ,那么 这 些 知识 应 该 用 来 为 RLS 算法 构造 一 个 适当 的 状态 空间 模型 。 其 次 ,我 们 通 
过 两 个 例子 来 说 明 如 何 实现 这 一 目标 了 。 
14.7.1 模型 1 :含有 过 程 ( 状 态 ) 噪 声 向 量 
在 式 (14.1) 和 式 (14.2) 描 述 的 系统 辨识 问题 中 ,马尔 可 夫 模 型 有 非 零 过 程 噪声 向 量 
wm(n)。 因 此 ,RLS 算 法 的 状态 空间 模型 可 表示 为 
x(n + 1) = ax(n) + vi(n) (14.78) 
y(n) = a(n)x(n) + n(n) (14.79) 
式 (14.78) 中 过 程 噪声 向 量 a(n) 可 建 模 为 具有 和 零 均值 和 相关 和 矩阵 R,(n), 相 同 于 式 (14.2) 的 
马尔 可 夫 模 型 过 程 噪 声 向 量 (rn). BN, RIJA R(n) = gl, 其 中 I 工 是 单位 阵 。 在 这 种 情况 
下 ,噪声 向 量 v,(n) 由 一 组 独立 白 品 声 源 组 成 ,每 一 个 具有 零 均值 和 方差 g。 用 式 (14.78) 的 状 
态 方程 代替 式 (14.76) 意 味 着 ,卡尔 曼 滤波 器 理论 中 的 滤波 状态 误差 相关 和 矩阵 K(n) 与 预测 状 
态 误差 相关 和 矩阵 K(n + 1,n) 不 再 相等 。 特 别 地 ,利用 式 (14.78) 并 假设 R,(n) = gl, 可 将 RLS 
算法 修正 为 (Haykin et al., 1997) 
从 W(0|-1) = E[w,(0)| 和 P(0, 一 1) = II。 开 始 , Hn> 0 计算 
k(n) = aP(n,n — onus (mn)P(n,n — 1)u(n) + 1)" 
&(n) = y(n) — w"(n|n — 1)u(n) 
Wn + 1|n) = aw(n|n — 1) + k(n)é*(n) 
P(n,n — 1)u(n)u"(n)P(n,n — 1) 


P(n) = P(n,n — 1) ~ u"(n)P(n,n — 1)u(n) + 1 





P(n + 1,n) = aP(n) + gl 





@ 为 了 跟踪 随机 游 动 模型 的 统计 变化 ,Kadlec 和 Gaston(1995) 在 其 论文 中 讨论 了 另 一 种 经 过 修正 的 RLS 算法 。 这 一 
算法 以 归 一 化 的 递归 格雷 姆 -斯 密 特 (Gram-Schmidt) 正 交 化 过 程 为 基础 ,而 标准 RLS 算法 只 是 它 的 一 个 特例 。 由 
Kadlec 和 Gaston 提出 的 这 个 自 适 应 滤波 算法 使 用 了 一 个 归 一 化 直接 加 权 方 案 ,使 得 该 算法 有 可 能 跟踪 随机 游 动 模 
型 的 统计 参数 的 变化 。( 第 10.1 节 介绍 了 最 小 均 方 估计 中 使 用 的 格雷 姆 -斯 密 特 正 交 化 过 程 。) 
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因此 ,我 们 将 这 个 算法 称 为 1 型 广义 RLS 算法 (ERLS-1)。 
事实 上 ,ERLS-1 的 最 后 两 步 蔡 代 了 表 9.1 所 示 的 标准 RIS 算法 概要 中 的 最 后 一 步 。 注 
意 , 当 令 9g9=0 和 aa=1 时 ,ERLS-1 就 退化 为 和 = 1 的 标准 RLS 算法 。 
14.7.2 模型 I :含有 非常 数 的 转移 和 矩阵 
如 式 (14.78) 所 示 ,过 程 品 声 向 量 的 存在 是 引起 非 平稳 性 的 一 种 描述 方式 。 表 示 非 平稳 特 
性 的 另 一 种 方式 是 含有 非常 数 的 转移 矩阵 ,如 下 述 方程 
x(n + 1) = F(a + 1,n)x(n) (14.80) 
y(n) = u"(n)x(n) + v(n) (14.81) 
Poll, AE BRE MR SB Wad MK eS BY Pe I FCn + 1,n) 由 一 个 对 角 和 矩阵 组 成 ,其 元 素 取决 
于 啊 嗽 速率 但 具体 数值 未 知 。 设 用 Pi ,pz ，……,pw 表示 转移 矩阵 的 未 知 对 角 元 素 , 则 该 矩阵 可 
表示 为 


F(n + 1,n) = diag[pi, p2,..., pa] (14.82) 
然后 ,定义 一 个 新 的 状态 向 量 
x(n) = ka (14.83) 
式 中 
P = (Pi, Po- Pm) (14.84) 


于 是 , 式 (14.80) 和 式 (14.81) 的 状态 空间 模型 可 用 非 线性 形式 改写 为 
x(n+1)= he + 5 | 


p 
一 diag[ pı, Pas ---s Pu] ?| bd 
| 0 I p (14.85) 
diag[ pi, po,-.-, oO], 
= | iag| p, D pu] i ks (n) 


y(n) = [u"(n), ol so | + v(n) 


= [uf(n), O]x'(n) + x(n) 
换 句 话说 ,可 将 这 一 非 线性 状态 空间 模型 表述 如 下 : 
© 修正 的 状态 向 量 在 n +1 时 刻 的 值 x (n+ DEEH n 时 刻 值 x Cn) 的 一 个 非 线性 函数 。 
o 观测 值 y(n) 由 田 一 个 非 线 性 函数 x(z) 加 上 一 个 噪声 分 量 y(n) 组 成 。 


要 注意 的 重要 一 点 是 ,无 论 非 线性 函数 还 是 依赖 于 未 知 参数 pi, pros pu 的 方法 都 是 已 
知 的 。 这 也 意味 着 ,可 以 相对 于 这 些 未 知 参数 计算 x'(n) 和 y(n) 的 梯度 ,并 就 此 设置 所 用 RLS 
型 广义 卡尔 曼 滤 波 器 的 级 , 它 本 身 又 为 跟踪 非 平稳 系统 (其 状态 空间 是 非 线性 的 ) 提 供 了 一 个 
部 件 。 广 义 卡尔 曼 滤波 器 的 推导 ,取决 于 所 用 系统 的 非 线性 状态 空间 模型 的 “线性 化 ”过 程 ,如 
第 10.10 节 所 述 。 从 本 质 上 讲 ,这 一 过 程 导致 模型 的 一 个 线性 “近似 ”, 此 后 ,就 可 以 利用 卡尔 


(14.86) 
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曼 滤波 器 理论 (或 其 RLS 型 ) ,以 通常 的 方式 估计 未 知 状 态 向 量 x(n) 和 未 知 参数 向 量 p。 由 此 
得 到 的 算法 称 为 I 型 广义 RLS 算法 (ERLS-2), 其 计算 步骤 如 下 (Haykin et al., 1997) 


II 
P(0,—-1) = | 0 s] 
开始 对 n0, HE 


k(n) = P(n, n — Dfe (luta, oP n - pfe | + co 


é(n) = y(n) — &”(n|n — Tu(n) 


ig) [Aah] enn 


Wn + 11n) = F(d,,)W(n|7) 
P(n) = (I — k(n)[u"(n), 0])P(n, n — 1) 


和 
P(n + 1,n) = F(a + 1,n)P(n)F(n + 1,7) 


在 介绍 ERLS-1 算法 和 ERLS-2 算法 时 ,这 里 尝试 做 的 重要 一 点 是 ,根据 RLS 变量 和 卡尔 曼 
变量 之 间 的 一 一 对 应 关系 ,有 大 量 关 于 卡尔 曼 滤波 器 理论 的 文献 ,可 帮助 我 们 通过 在 算法 中 引 
入 先 验 知识 来 构造 改进 型 RLS 算法 ,以 便 适 当地 处 理 非 平稳 系统 的 跟踪 问题 。 


14.8 系统 辨识 的 计算 机 实验 


本 节 描述 的 系统 辨识 计算 机 实验 ,以 第 14.6 节 中 例 2 和 例 3 的 结果 以 及 第 14.7 节 介绍 的 
内 容 为 基础 ,并 采用 抽 头 数 为 M = 2 的 自 适应 横向 滤波 器 。 该 实验 的 目的 有 两 个 : 
© 证 明 LMS 算法 的 性 能 有 可 能 优 于 RLS 算法 ,反之 亦 然 。 
© 证 明 ERLS-1 算法 的 眼 踪 最 优 性 , 关 与 标准 RLS 算法 和 LMS 算法 比较 。 在 这 个 实验 
中 ,有 三 组 要 考虑 的 参数 : 
1) 基本 参数 ,组 成 如 下 : 
o 参数 a 和 式 (14.1) 的 一 阶 马尔 可 夫 模 型 中 零 均值 测量 噪声 v(n) 的 方差 oz 。 
o 零 均值 输入 向 量 u(n) ORE R, 中 的 元 素 ri rafi rao 
2) 辅助 参数 ,组 成 如 下 : 
e YR, = cR, 时 的 比例 因子 c1( 例 2)。 
e 当 R, = oR, 时 的 比例 因子 c,( 例 3)。 
这 里 ,R。 是 一 阶 马 尔 可 夫 模 型 中 零 均值 过 程 噪声 向 量 oln) OSE 
3) 参考 基准 , 任 选 为 
6 = QRS 


输入 向 量 u(n) 由 一 个 二 维 高 斯 过 程 产生 ,该 过 程 的 均值 为 零 ,相关 年 阵 为 
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1 —0.75 
= 一 4 
R, = 10 [0 i | 


a = 0.9998 


模型 参数 为 


和 
o? = 0.04 
这 就 完成 了 这 个 实验 基本 参数 的 确定 。 对 于 辅助 参数 ,我 们 有 
cl = 2.7344 x 10 
和 
c = 0.160 x 107% 
最 后 ,参考 基准 为 
6 = 0.01 
为 了 初始 化 实验 , 设 定 
E[w,(0)] = 6 
在 各 态 历经 的 假设 下 ,瞬时 加 权 误 差 向 量 
e(n) = wo(P) — W(n|n — 1) 

可 以 通过 对 稳 态 ( 即 所 有 瞬 态 现象 基本 消失 后 ) 情 况 下 运行 = 50 000 次 选 代 的 模拟 实验 结果 
取 时 间 平 均 测 出 。 在 这 项 实验 中 , HRH n = 50 000 时 刚好 求 出 这 个 时 间 平 均值 。 通 过 
注意 到 模拟 量 与 N 之 间 关 系 曲线 在 该 迭代 点 附近 没有 明显 变化 , 可 证 实 这 样 选择 N 和 的 
值 是 合适 的 。 

表 14.3 提供 了 两 种 情况 下 模拟 的 结果 ， 

情况 1:R, = cR, 

情况 2:R, = c,R;' 
对 于 每 一 种 情况 , 表 中 所 列 实验 数据 包括 如 下 内 容 ， 

© 由 标准 RLS 算法 产生 的 最 小 均 方 偏差 8 和 失调 4Lm 


o 由 LMS 算法 产生 的 最 小 均 方 偏差 9。 和 失调 .人 ma 

e 由 ERLS-1 算法 产生 的 均 方 偏差 名 和 最 小 失调 

模拟 结果 清楚 地 证 明 ,在 第 一 种 情况 下 ,LMS 算法 的 性 能 优 于 标准 RLS 算法 ; 
情况 下 ,情况 正好 相反 。 此 外 ,这 些 结果 还 证 明 ,在 每 一 种 情况 下 ,ERIS-1 算法 优 于 最 忧 LI 
RLS 算法 (尽管 只 是 很 勉强 )。 这 种 微小 的 改进 大 概 不 会 是 人 为 选择 实验 参数 (造成 的 )。 







选择 使 得 相对 均 方 权 值 偏差 和 相对 均 方 失调 都 很 小 ,以 致 于 算法 的 性 能 差异 不 易 看 清 , 由 于 宫 
被 看 做 正常 模拟 方差 和 数值 噪声 。 (ey 
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表 14.3 两 种 不 同情 况 下 的 仿真 结果 





情况 1 情况 2 

R, = clR。 R, = co Ry 
FUE 0.0105 0.0103 
giss 0.0071 0.0135 
Gens 0.0069 0.0102 
Gis 0.0842 0.0423 
gies 0.0698 0.0666 
DENS! 0.0673 0.0419 


14.9 自 适 应 常数 的 自动 调节 


回顾 图 14.1 所 示 的 时 变 系 统 模型 ,我们 已 经 知道 ,如 何 利用 式 (14.34) 或 式 (14.39) 计 算 
LMS 算法 中 的 步 长 参数 o 的 最 优 值 ,以 及 如 何 利用 式 (14.60) 或 式 (14.65) 计 算 RIS 算 法 中 指 
数 加 权 因 子 A 的 最 优 值 。 不 管 使 用 何 种 优化 标准 评价 自 适应 滤波 器 的 跟踪 性 能 , 均 需 已 知 马 
尔 可 夫 模 型 中 过 程 噪声 向 量 oln) RERE R, 和 输入 向 量 u(n) 的 相关 和 矩阵 R,。 这 一 观察 
结果 促使 我 们 考虑 一 个 基本 问题 , 即 所 有 自 适 应 滤波 赖 以 正常 工作 的 核心 问题 ; 

当 滤 波 器 工作 环境 的 具体 物理 模型 及 其 时 变 特性 未 知 时 ,如 何 选 择 LMS 算法 中 步 长 参数 

kK 或 RIS 算法 中 指数 加 权 因 子 4 二 者 的 最 优 值 。 

为 了 达到 调节 LMS 算法 中 y 和 RLS RHE A 的 目的 ,Benveniste 等 (1990) 对 LMS 算法 和 
RIS 算法 提出 了 某 些 改进 措施 , 即 在 原 算 法 各 自 公 式 的 基础 上 琶 加 某 些 自 适 应 方案 。 这 个 思 
想 的 实际 正确 性 已 为 如 下 工作 所 完全 证 明 :1) 关 于 自 适 应 均衡 和 锁 相 环 中 的 信号 处 理应 用 
[ Brossier( 1992) ];2) 基 于 源 自 随机 近似 理论 强 有 力 结果 的 收敛 性 证 明 [Kushner & Yang(1995)] 。 


14.9.1 带 有 自 适 应 增益 的 LMS 算法 


由 Benveniste 等 (1990) 提 出 并 经 Kushner 和 Yang(1995) 进 一 步 完善 的 自 适应 方案 的 目的 
是 , 求 出 步 长 参数 的 特定 值 的 一 个 估计 ,以 使 集 平 均 代 价 函 数 





J(n) = 3 Ellen] (14.87) 
最 小 化 , 式 中 
e(n) = d(n) — w"(n)u(n) (14.88) 
是 估计 误差 。 求 代价 函数 J(n) 关 于 步 长 参数 o 的 偏 导数 ,得 标量 梯度 
oJ (n) 
a a 
x (14.89) 
= ak e*(n) + aem e(n) | 
SASK (14.88) F ,容易 求 出 
de(n) H 
[= =p" (n)u(n) (14.90) 


op 
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式 中 向 量 中 (nn) 表 示 抽 头 权 向 量 w(n) 关 于 步 长 参数 o 的 梯度 , 即 
dw(n) 
ðu 





p(n) = (14.91) 


于 是 ,可 将 标量 梯度 重新 定义 为 
V,(n) = - 5 EW’ (mun)er(n) + u¥(n)ip(n)e(n) | (14.92) 


现 分 别 用 y(n) 和 w(n) 表 示 由 运行 自 适应 方案 得 出 的 步 长 参数 p 的 实际 序列 和 w(n) 的 估计 
值 。 这 个 自 适应 方案 是 以 迁 代 方式 进行 的 。 估 计 值 w(m) 的 计算 遵照 式 (5.8) 描 述 的 LMS 算 
法 。 同 理 , 我 们 可 表示 更 新 w(m) 的 递归 关系 式 为 
p(n +1) = p(n) - aV,(n) (14.93) 
式 中 a SMEAR DN EE RRS, O, (rn) ERE V , (mn) 的 一 个 估计 值 。 
定义 y(n) = aw(n)/au(m) 为 导数 于 (mn) 的 估 值 , 则 在 式 (14.92) 的 基础 上 ,可 将 瞬时 估计 
表示 为 
Buln) = — 5 [ulne ln) + A(n) h(n)e(n)] 
= —Re[h"(n)u(n)e*(n)] 
RP Re 表示 取 实 部 算 子 ,而 e(n) 由 式 (14.88) 定 义 , 并 用 估计 值 W(n) 代 蔡 w(n)。 
下 面 ,我 们 来 描述 LMS 算法 中 用 来 调节 步 长 参数 的 两 步 自 适应 方案 : 
1) 给 定 步 长 参数 的 过 去 值 y(n), 则 其 更 新 值 可 用 如 下 递归 公式 计算 , 即 
p(n + 1) = u(n) + a Re[b"(n)u(n)e*(n)] (14.95) 
2) 从 通常 的 更 新 权 向 量 的 递归 关系 式 出 发 , 即 
Wn + 1) = W(n) + p(nu(n)er(n) (14.96) 
并 求 它 关于 y(n) 的 导数 ,可 得 更 新 估计 值 籼 (n) 的 递归 关系 式 
de*(n) 
ap(n) (14.97) 
= h(n) + u(ne*(n) — w(n)u(n)u"(n)b(n) 
Esk (14.97) WBS FTP, RATE SR 14.90) FE SBT, IE A (nn ARE n). 
至 此 ,可 将 带 有 自 适 应 增益 的 LMS 算法 总 结 如 下 : 
从 初始 值 w(0) 、w(0) 和 中 (0) 出 发 ,对 n> 0, 计算 
e(n) = d(n) — W"(n)u(n) 
Wn +1) = Wn) + w(n)u(n)e*(n) 
u(n + 1) = [w(n) + a Refi" (n)u(n)e*(n)] 


(14.94) 





h(n + 1) = b(n) + u(n)e*(n) + p(n)u(n) 


h(n + 1) = [I~ w(n)u(n)ju"(n) b(n) + u(n)e*(n) 
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在 算法 的 第 三 行 中 ,括号 外 的 上 标 u, 和 下 标 u 表示 截取 。 根 据 Kushner 和 Yang( 1995) 
给 出 的 模拟 结果 ,截取 的 下 限 w_ 取 什么 值 无 关 紧 要 , 故 可 将 其 置 为 零 或 某 一 很 小 的 数 。 另 一 
方面 ,截取 的 上 限 o, 的 取 值 却 关 系 到 算法 跟踪 性 能 的 好 坏 。 通 常 ,具有 良好 跟踪 性 能 算法 的 
步 长 参数 的 最 优 值 接近 于 不 稳定 点 ,因此 , 若 wz 的 取 值 过 大 , 则 有 可 能 引起 LMS 算法 不 稳定 。 
在 各 种 应 用 中 ,用 户 通常 有 足够 的 经 验 ,知道 如 何 设置 u, 的 值 。 


14.9.2 带 有 自 适 应 记忆 的 RLS 算法 


下 面 ,考虑 能 自 适应 调节 指数 加 权 因 子 * 的 RLS 算法 。 此 时 ,我 们 的 目标 是 寻找 A 的 一 
个 特殊 值 , 以 优化 代价 函数 











(a) = 3 Elle Pl (14.98) 
式 中 
&(n) = d(n) — w"(n — 1)u(n) (14.99) 
是 先 验 估计 误差 。 求 代价 函数 KF A 的 导数 ,得 到 
97'(n) 
Vin) = 
3A (14.100) 
1 Ta oy . 
= 5 ery + en) | 
其 次 ,定义 
_ dw(n) 
Yin) = 3 (14.101) 
则 利用 式 (14.99) ,可 将 标量 梯度 重新 定义 为 
V,(n) = -$ Elyn — 1)u(n)é*(n) + u” (n(n — 1)é(n)] (14.102) 
RLS 算法 中 抽 头 权 向 量 的 更 新 ,涉及 到 增益 向 量 k(n) = P(n)u(n), 即 [参见 式 (14.41)] 
w(n) = wn — 1) + Pln)u(n)é*(n) (14. 103) 
A P(n) =@"'(n). 
令 
_ P(n) 
S(n) = — (14.104) 


PARA IEE P(n) 关 于 A 的 偏 导 数 。 如 将 式 (14.99) (14.103) MR (14.10) M FÈ 
(14.101) , 则 得 


wn) = [I — k(n)u"(n) lpia — 1) + S(n)u(n)é*(n) (14.105) 
为 了 递归 地 计算 S(n), 首先 利用 式 (9.18) 和 式 (9.19) 写 出 
A*P(n — 1)u(n)u4(n)P(n — 1) 
1+ Aw" (n)P(n — 1)u(n) 





P(n) = A'P(n — 1) (14.106) 
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然后 , 求 式 (14.106) 关 于 1 的 导数 并 合并 相关 项 ,得 到 
S(n) = 和 AI- k(n)u"(n)|S(n — 1)[1 — u(n)k*(n)] 
+ A k(n)k#(n) — A P(n) 

现在 准备 构造 带 有 自 适应 记忆 功能 的 RES 算法。 令 和 A(n)、w(n) 和 站 (n) 表 示 算法 在 第 
次 兴 代 求 出 的 指数 加 权 因 子 . 抽 头 权 向 量 w(n) 和 梯度 中 (n) 的 实际 值 。 则 在 式 (14.102) 的 基 
础 上 利用 标量 梯度 多 ; (n) 的 瞬时 估计 Rel” (n - 1)u(n)é* (nm)], 可 写 出 指数 加 权 因 子 的 
自 适应 递归 关系 式 为 

A(n) = A(n ~ 1) ~— aV,(n) 
= A(n — 1)+aRelyb’(n — 1)u(n)é*(n)] 

式 中 a 是 一 个 数值 很 小 的 正 学 习 速 率 参数 。 将 这 个 递归 公式 并 入 标准 RLS 算法 ,可 将 带 有 自 
适应 记忆 功能 的 RLS 算法 总 结 如 下 : 

从 初始 值 w(0) PCO) .S(0) (0) 和 中 (0) 出 发 ,对 >0 计 算 

A(n — 1)P(n — 1)u(n) 
1 + A(n — 1)u”(n)P(n — 1)u(n) 
(n) = d(n) — W"(n — 1)u(n) 
w(n) = W(n — 1) + k(n)é*(n) 
P(n) = X(n ~ 1)P(n — 1) — A(n — 1)k(n)u?(n)P(n — 1) 
A(n) = [A(n — 1) + a Re[b"(n — 1)u(n)é*(n) |] 
S(n) = A? (n)[I — k(n)u*(n)]S(n 一 1)[1 — u(n)k#(n)] 

+ A! (n)k(n)k?(n) — A1(n)P(n) 


(14.107) 


(14. 108) 


k(n) = 








和 
h(n) = [I — k(n)u*(n) b(n — 1) + SCn)u(n)é*(n) 

如 同 带 有 自 适应 增益 的 LMS 算法 一 样 , 此 处 括号 外 的 上 标 A, 和 下 标 * 也 表示 截取 。 可 以 将 
截取 的 上 限 A, 置 为 一 个 接近 于 (但 小 于 )1 的 数 。 截 取 的 下 限 *_ 对 算法 跟踪 性 能 的 好 坏 起 
着 至 关 重 要 的 作用 ,其 取 值 必须 由 用 户 通过 实验 确定 。 

除了 用 时 变 指数 加 权 因 子 4(n - 1) 代替 固 定 值 * 外 , 带 有 自 适应 记忆 功能 的 RIS 算 法 的 
前 4 行 与 第 9 章 中 导出 的 传统 RIS 算 法 完全 一 样 。 该 算法 的 最 后 3 行 特别 关注 算法 从 一 个 迭 
代 到 下 一 个 和 迭代 时 指数 加 权 因 子 的 自 适应 。 


14.10 本 章 小 结 


本 章 研究 了 运行 在 非 平稳 环境 下 自 适 应 滤波 器 的 跟踪 性 能 。 首 先 ,跟踪 是 特定 的 问题 。 
因此 ,用 在 系统 辨识 中 的 自 适应 泪 波 器 的 跟踪 性 能 ,是 十 分 不 同 于 用 于 信道 均衡 或 加 性 噪声 条 
件 下 自 适应 恢复 期 望 信号 的 自 适应 滤波 器 。 

为 了 评价 一 个 自 适应 滤波 器 的 跟踪 能 力 ,可 利用 均 方 偏差 98 (n REEM) AMA 
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性 能 指标 以 不 同 的 方式 关注 自 适 应 滤波 器 的 跟踪 性 能 。 值 得 注意 的 重要 之 处 是 ,在 任何 一 种 
情况 下 , 均 可 辨别 出 两 种 成 分 ,一 种 代表 平稳 情况 , 另 一 种 起 因 于 环境 的 非 平稳 性 。 

在 均 方 偏差 和 失调 的 基础 上 我 们 发 现 LMS 算法 比 RLS 算法 一 般 呈 现 更 鲁 棒 的 跟踪 特性 。 
因此 我 们 毫 不 惊奇 地 发 现 , 在 时 变通 信 信 道上 进行 数据 传输 时 ,LMS 算法 优 于 RLS 算法 ,不仅 
因为 LMS 算法 简单 ,还 因为 它 有 更 好 的 跟踪 能 力 。 

后 面 的 这 段 论述 属于 常规 的 RLS 算法 ,如 第 9 章 所 述 。 然 而 ,我 们 并 不 只 ee eka 
RLS 算法 ,而 是 根据 RLS 变量 与 卡尔 曼 变 量 之 间 存 在 的 一 一 对 应 关系 ,利用 大 量 有 关卡 尔 曼 
波 器 理论 的 文献 来 构造 合乎 实际 需要 的 其 他 形式 的 RLS 算法 。 特 别 地 ,我 们 提 到 了 两 个 可 能 
的 途经 : 

1) RLS 算法 的 基本 状态 空间 模型 用 式 (14.78) 和 式 (14.79) 表 示 ,模型 中 包含 有 过 程 噪声 

向 量 vy,(n), 以 便 说 明 滤波 器 工作 环境 的 非 平稳 性 。 这 一 方法 很 适合 于 求解 用 马尔 可 
夫 过 程 描 述 的 系统 辨识 问题 [如 式 (14.1) 所 示 ]。 

2) 通过 在 RLS 算法 的 状态 空间 模型 中 包含 转移 矩阵 FCn + 1, nn) 来 说 明 非 平稳 性 ,其 中 
Fl(n+1,n) 是 一 个 非常 数 其 至 未 知 的 矩阵 。RLS 算法 的 状态 空间 模型 然后 用 非 线 性 
项 表示 ,并 援引 广义 卡尔 曼 滤 波 器 体系 的 应 用 。 这 一 方法 适合 于 跟踪 诸如 加 性 噪声 环 
境 下 的 咽 嗽 信和 号。 i 

简 而 言 之 ,每 当 有 关 先 验 知识 可 用 时 ,应 该 利用 它 来 使 RLS 算法 的 状态 空间 模型 与 待 求 
解 问题 的 数学 模型 之 间 失 配 最 小 ,从 而 改进 RLS 算法 在 非 平 稳 环境 下 的 跟踪 性 能 。 

然而 , 当 非 平稳 条 件 下 的 基本 物理 模型 及 其 时 变 特性 未 知 时 ,为 了 达到 调节 LMS 算法 中 
步 长 参数 wkK 和 RLS 算法 中 指数 加 权 因 子 4 的 目的 ,可 通过 在 它们 的 各 自 实 现 中 过 加 一 个 自 适 
应 增益 或 自 适应 记忆 ,来 优化 LMS 和 RLS 这 两 种 算法 的 跟踪 性 能 。 


14.11 习题 


1. 试 定性 描述 时 变通 信 信 道 自 适应 均衡 器 与 固定 特征 通信 信道 自 适应 均衡 器 的 误差 特性 曲 
面 之 间 的 差异 。 
2. 在 预测 中 ,车 期 望 响应 由 信号 的 当前 值 组 成 ,输入 向 量 由 有 限 个 信号 的 过 去 值 组 成 , 试 描述 
非 平稳 过 程 中 自 适应 预测 器 与 平稳 过 程 中 自 适应 预测 器 误差 特性 曲面 之 间 的 差异 。 
3. 加 权 误差 向 量 g(n) 可 以 表示 为 权 向 量 噪声 8,(n) 和 权 向 量 延迟 &(n) 之 和 , 试 证 明 
Elef!(n)e2(n)] = Ele$(n)ei(n)] = 0 
并 利用 第 14.1 节 中 所 做 假设 ,证 明 
E[lje(n)?] = Elleni] + Elle”) |7] 
4. 继续 习题 3, 试 用 第 14.1 节 中 所 做 假设 ,证明 
Elef!(n)u(n)ju"(n)e(2)] = t[R,K,(1)] 
E[e#(n)u(n)u"(n)e2(n)] = tr[R,K,(7)] 


Elef'(n)u(n)u"(n)e,(n)] = Elei(n)u(n)u"(n)e,(n)] = 0 
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式 中 u(n) 是 均值 为 零 的 输入 向 量 ,R, 是 a(n) 的 相关 算 阵 ,K(n) 和 K,(n) 分 别 表示 &g (n) 
和 gea(z) 的 相关 和 矩阵 。 试 说 明 s(m) 的 相关 和 矩阵 K(n) 与 Ki(n) 和 K,(n) 之 间 的 关系 。 
. 假设 瞬 态 分 量 已 经 消失 , 试 在 第 5.4 节 中 介绍 的 小 步 长 LMS 理论 的 基础 上 ,从 式 (14.31) 出 
发 ,导出 LMS 算法 的 均 方 偏差 公式 (14.32)。 
. 在 本 题 中 ,我 们 继续 讨论 LMS 算法 在 小 步 长 参数 假设 下 的 跟踪 性 能 。 假 设 瞬 态 分 量 已 经 消 
失 , 试 从 式 (14.36) 出 发 ,导出 LMS 算法 的 失调 公式 (14.37)。 
. 给 定 同 维 数 的 向 量 x 和 y, 柯 西 - 许 瓦 芯 不 等 式 表示 了 它们 之 间 的 关系 

ky? < |x/Plyl? 

将 这 个 不 等 式 用 于 表 14.1 中 2x2 阵列 的 交叉 对 角 项 , 导出 式 (14.74) 和 式 (14.75) 的 结果 。 
. 继续 讨论 表 14.2 所 列 M=2 时 自 适应 滤波 器 的 结果 。 通 过 如 下 工作 证 明 该 表 中 所 列 各 项 
的 正确 性 : . 
(a) 确 定 LMS 算法 的 最 小 均 方 偏差 8 、 最 小 失调 Mwin 和 相应 的 步 长 参数 的 最 优 值 。 
(b) 确 定 RLS 算法 的 最 小 均 方 偏差 2 、 最 小 失调 和 相应 的 指数 加 权 因 子 和 的 最 优 值 。 
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长 脉冲 响应 自 适 应 滤波 器 的 需求 最 初 源 于 诸如 远程 电话 会 议 中 回音 消除 之 类 的 问题 。 对 
付 这 种 需求 可 通过 以 下 两 种 途径 :如 第 6 章 所 讨论 的 ,对 归 一 化 LMS 滤波 器 施加 控制 ;或 如 第 
7 章 所 述 ,在 频 域 实现 LMS 滤波 器 。 当 然 , 亦 可 采用 下 列 两 种 方法 构造 这 种 滤波 器 : 
o 以 计算 费用 远 低 于 相应 的 有 限 脉 冲 响应 (FIR) 自 适应 滤波 器 的 方式 ,构建 以 无 限 脉冲 响 
应 (IER) 线 性 滤波 器 为 基础 的 自 适应 过 程 。 
e 使 用 以 横向 Laguerre 结构 为 基础 构建 的 阶 递归 自 适应 滤波 器 。 它 是 一 个 由 FIR 和 OR 
滤波 器 组 成 的 混合 滤波 器 。 
本 章 讨论 如 何 按照 这 两 种 方法 设计 自 适应 滤波 器 。 为 了 简便 起 见 ,我 们 只 限于 讨论 处 理 
实数 据 的 滤波 器 。 


15.1 WR 自 适应 滤波 器 :输出 误差 法 


通常 ,IIR 滤波 器 的 基本 结构 与 自 回归 滑动 平均 (ARMA， autoregressive moving-average) 模 型 
的 结构 相同 ,其 输入 输出 关系 定义 为 
M N 
y(n) = > a(n)u(n 一 让 十 OMA =i) (15.1) 
式 中 a(n) All b,(n) 是 模型 的 可 调 系 数 。 当 N= M 且 ao=1 时 , 式 (15.1) 的 框图 描述 如 图 15.1 
所 示 。 当 滤波 器 的 系数 固定 不 变 时 ,可 用 如 下 转移 函数 





H(z) = 5 (15.2) 
等 效 地 表征 ARMA 模型 , 式 中 多 项 式 4(z) 和 B(z) 分 别 为 
A(z) = Sar (15.3) 
和 N 
B(z) = > bz (15.4) 


使 用 IIR 滤波 器 的 目的 就 是 要 用 较 少 的 可 调 系数 实现 长 脉冲 响应 。 为 了 设计 这 类 滤波 器 ,我 
们 可 以 用 两 种 方法 之 一 , 即 输出 误差 法 或 方程 误差 法 (Goodwin & Sin, 1984; Regalia, 1995)。 本 
节 讨 论 输出 误差 法 ,而 下 一 节 介 绍 方程 误差 法 。 


15.1.1 输出 误差 法 


图 15.2 是 输出 误差 法 的 框图 表示 ,图 中 用 一 个 z 域 表示 的 IIR 自 适应 滤波 器 来 辨识 某 一 
未 知 线性 动态 系统 。 在 这 个 系统 辨识 应 用 中 ,输入 信号 wn) 同 时 加 到 未 知 系统 和 自 适 应 滤 
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波 器 上 ,由 此 分 别 产 生 期 望 响应 dz) 和 实际 滤波 器 的 输出 y(n)。 自 适应 滤波 器 的 合成 权 向 
E wO ELARRE aln) LF b; (Cn) 六 :一 起 组 成 的 向 量 , 即 


W(n) = [ao(n), a,(n),..., am(n), b(n), b(n), ... ,by(n) |! (15.5) 





E 15.2 使 用 OR 滤波 器 的 系统 辨识 框图 :输出 误差 法 
假设 处 理 的 是 实 值 信号 , 权 向 量 w(n) 的 调整 可 通过 最 小 化 瞬时 代价 函数 
J(n) = Zen) 


获得 , 式 中 误差 信号 
e(n) = d(n) — y(n) (15.6) 
是 期 望 响 应 与 实际 滤波 器 的 输出 之 差 。 这 就 是 输出 误差 法 这 一 名 称 的 由 来 。 图 15.2 中 ,输出 
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y(n) 由 式 (15.1) 定 义 。 按 照 第 5 章 介 绍 的 LMS 算法 的 推导 过 程 ,可 将 第 n ERA E 
w(n) 的 调整 量 Aw(n) 定 义 为 





(15.7) 


RP / 是 步 长 参数 。 求 代价 函数 I (nF wy, (n) 的 导数 , 即 得 梯度 向 量 97(n)/29w(n) 的 第 j 个 分 
量 为 











oJ (n) -e ðe(n) 
a(n) Y a(n) 
— ay(n) (15.8) 
aw (n) 


从 式 (15.1) 可 以 看 出 ,滤波 器 的 输出 y(n) 与 其 自身 的 过 去 值 有 关 。 因 此 ,在 求 偏 导数 
3y(n)/93w;(n) 时 要 小 心 进行 。 特 别 地 ,我 们 有 























ay(n) u(n — j) + > b(n) aa(n) MF w;(n) 一 a(n) 
= T D (15.9) 
dwiln) y(n = j) + $ oln) T > FÔ (n) = b(n) 
为 了 简化 表示 ,引入 如 下 两 个 定义 
oy) -wm mt} =0,1,...,M 
da(n) Í PS Mes (15.10) 
dy(n) 
jp) =B(n) 对 于 j=1,2,...,N (15.11) 
同时 还 假设 ,滤波 器 对 较 小 的 N 和 MM, 以 足够 慢 的 速率 进行 自 适应 ,以 便 可 以 对 i = 1,2,...， N 
做 如 下 两 个 近似 
dy(n — i) y(n — i) . 
da;(n) da,;(n — i) = a(n — i) (15.12) 
dy(n —i)  day(n — i) 
36(n) ~ abn i) = Bn — i) (15.13) 
因此 ,可 将 式 (15.9) 改 写 为 如 下 用 a(n) B(n) 表 示 的 一 对 递归 差分 方程 
a(n) = u(n — j) + $ bina; a(n—i) 对 于 j=0,1,...,M (15.14) 
Bn) ~ y(n — j) + > a(n n)B(n-i) 对 于 j =1,2,...,N (15.15) 


现 可 用 式 (15.7)、 式 (15.10) 和 式 (15.11) ,正式 定义 计算 IR 自 适应 滤波 器 权 向 量 更 新 方程 为 


w(n + 1) = Wn) + AW(n) 
人 (15.16) 
=~ w(n) + pe(n)y(n) 


式 中 
y(n) = [ao(n), oa(n),..., am(n), Bi(n), Ba(n),..., Bn(n)] (15.17) 
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是 (N+ M+1)x1 维 滤波 回归 器 向 量 。 因 此 ,可 通过 求解 差分 方程 式 (15.14) 和 方程 
式 (15.15) 递 归 地 计算 y(n) 定 义 中 涉及 的 系数 a,(n) 和 6 (n)。 
15.1.2 输出 误差 法 IR 自 适应 滤波 器 小 结 
表 15.1 给 出 设计 IR 自 适应 滤波 器 用 输出 误差 LMS 算法 的 小 结 。 值 得 注意 的 是 , 表 中 的 

运算 过 程 可 做 进一步 简化 。 特别 地 , 式 (15.17) 中 滤波 回归 器 向 量 能 够 得 益 于 如 下 近似 

a(n) = a(n — j) j=1,2,...,M (15.18) 
和 

BAn) = B(n=j +1) j=2,...,N (15.19) 
使 用 这 两 个 近似 可 使 计算 负担 减少 到 只 需 附 加 一 到 两 个 全 极点 滤波 器 就 可 得 到 滤波 后 的 回归 
器 ,而 表 15.1 中 需要 附加 M+ N 个 滤波 器 。 

表 15.1 应 用 输出 误差 法 的 IR 自 适 应 LMS 算法 小 结 ( 实 数据 时 ) 


初始 化 :w(0) =0 
计算 :对 n=1,2,..., 计 算 


y(n) Se, (n)u(n — i) + Dan ~ i) 
e(n) - dln) - rD 


aj(n) =u(n- j) + > (n)aj(n-i), j=0,1,...,M 


B(n) yn D+ IOO j= 1,2,...,N 


y(n) =Lao(n), ain) peng au(n),P\(n),Bo(n),..., By(n) I]? 
win +1) =wln) + pe(n) y(n) 


嵌入 在 式 (15.18) 和 式 (15.19) 中 的 简化 基于 如 下 观测 :如 果 自 适应 滤波 算法 到 达 任 何 收 
敛 点 , 则 该 点 处 滤波 器 参数 保持 不 变 , 上 述 两 个 方程 就 变 为 精确 方程 。 更 一 般 地 ,只 要 滤波 器 
慢 速 自 适应 ,在 进行 近似 前 误差 就 相当 小 ,于 是 用 或 不 用 近似 表达 式 的 OR 自 适 应 滤波 器 的 收 
敛 特性 实际 上 是 一 样 的 (Shynk ,1989) 。 


15.1.3 输出 误差 法 的 局 限 性 
遗憾 的 是 ,设计 R 自 适 应 滤波 器 用 输出 误差 法 遇 到 以 下 两 个 限制 


9 误差 特性 曲面 除了 一 个 全 局 极 小 点 外 ,还 有 许多 局 部 极 小 点 ,这 意味 着 我 们 无 法 确定 用 
这 种 方法 设计 的 IR 自 适应 滤波 器 是 否 是 全 局 最 优 的 。 

© 不 能 保证 ARMA 模型 的 极点 始终 在 z 平面 的 单位 圆 内 ,这 意味 着 IIR 自 适应 滤波 器 有 
可 能 变 为 不 稳定 。 


在 实际 使 用 过 程 中 ,可 在 自 适应 方程 中 引入 某 种 简短 的 稳定 性 测试 过 程 来 克服 不 稳定 问题 。 
但 这 样 一 来 ,会 放 慢 自 适应 的 速率 中 。 至 于 局 部 最 小 问题 ,可 用 下 一 节 的 方程 误差 法 来 克服 。 





D Carini 等 (1999) 在 其 论文 中 讨论 了 输出 误差 法 OR 自 适 应 滤波 器 的 稳定 性 和 自 适应 速率 之 间 的 关系 问题 。 使 用 另 
一 种 结构 , 即 格 型 结构 的 滤波 器 可 以 缓解 滤波 器 的 不 稳定 问题 。 有 关 这 一 问题 的 详细 论述 ,可 参考 Miao 等 (1994) 
和 Regalia(1995) 的 论文 。 
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15.2 IIR 自 适 应 滤波 器 :方程 误差 法 


在 另 一 个 设计 IR 自 适 应 滤波 器 的 方法 中 ,在 滤波 器 训练 阶段 ,用 期 望 响应 dn RER 
(15.1) 右 边 第 二 个 求 和 号 中 的 滤波 器 实际 输出 y(n) ,结果 的 方程 为 


N . 
y(n) = Ș a(n)u(n ~ i) + $ b(n)d(n — i) (15.20) 


上 式 明显 不 同 于 ARMA 模型 的 实际 输出 。 相 应 地 ,定义 误差 信号 为 
e'(n) = d(n) — y(n) (15.21) 

BAA Tie WARMER: [a(n Mib (nino. 第 二 个 方法 取 名 方程 误差 法 的 原因 
是 ,在 该 法 中 误差 信号 由 一 个 方程 来 定义 ,而 不 是 如 输出 误差 法 中 那样 根据 实际 自 适 应 滤波 器 
的 输出 来 定义 。 因 此 ,在 系统 辨识 问题 中 ,可 用 图 15.3 所 示 的 框图 来 表示 方程 误差 法 。 与 输 
出 误差 法 不 同 , 方 程 误差 法 是 由 二 次 误差 特性 曲面 表征 的 ,所 以 它 不 会 受到 局 部 最 小 问题 的 限 
制 。 

方程 误差 e(n) 与 输出 误差 e(n) 本 质 上 是 相关 的 。 特 别 地 ,将 式 (15.21) 与 式 (15.6) 相 
减 ,并 利用 式 (15.1) 和 式 (15.20) 给 出 y(n) 和 y’(n) 的 定义 ,可 以 得 到 

e'(n) — e(n) = y(n) — y(n) 


N 
= = 2 bi(n)(a(n — i) — y(n - i)) (15.22) 


经 整理 后 得 
e'(n) = e(n) 一 > bi(nje(n — i) (15.23) 


i=l 
A(15.23) PAYAL b, Melk IXIA. B, 对 等 式 两 边 求 z 变换 后 ,得 
到 
E'(z) = (1 — B(z))E(z) (15.24) 


AP OE’ (2) AM E(z) 分 别 是 方程 误差 e'(n) 和 输出 误差 e(n) 的 zs 变换, 而且 当 b, 固定 不 变 
时 ,z 变换 B(z) 由 式 (15.4) 定 义 。 式 (15.24) 表 明 , 让 实际 输出 误差 e(m) 通 过 一 个 转移 函数 为 
1- B8(z) 的 滤波 器 就 可 以 得 到 方程 误差 e’(n)。 

在 神经 网 络 文献 中 ,方程 误差 法 称 为 教师 强制 法 (Wiliams & Zipser，1989，1995)。 容 易 看 
出 ,在 训练 阶段 期 望 响 应 是 由 “教师 ”强加 的 监督 信和 号。 故 就 图 15.3 中 情况 而 言 ,用 “教师 强 
制 ” 这 一 术语 进行 描述 比 用 “方程 误差 " 稍 多 些 。 在 任何 情况 下 ,方程 误差 法 可 加 快 自 适应 滤波 
器 训练 速度 ,因为 用 式 (15.23) 和 式 (15.24) 来 计算 误差 信号 相当 于 假设 滤波 器 准确 地 完成 教 
师 强 制 的 学 习 任 务 。 然 而 ,基于 梯度 的 方程 误差 法 自 适应 滤波 算法 实际 上 是 优化 一 个 不 同 于 
其 输出 误差 的 代价 函数 ,该 输出 误差 只 不 过 重申 了 e’ (n) ARIF e(n) 这 一 事实 。 因 此 ,除非 
误差 信号 等 于 零 (而 这 时 自 适 应 将 是 多 余 的 ) ,否则 设计 IR 自 适应 滤波 器 的 方程 误差 法 和 输 
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出 误差 法 将 得 到 不 同 的 解 。 简 而 言 之 ,与 输出 误差 法 不 同 ,方程 误差 法 理解 起 来 有 一 定 难度 ， 
尽管 该 方法 的 设计 准则 具有 二 次 特性 2。 


信号 
u(n) 





Æ 15.3 UR 自 适应 滤波 器 系统 辨识 框图 :方程 误差 法 (注意 : 
此 处 对 IR 滤 波 器 所 做 的 修改 仅 适用 于 训练 阶段 ) 


15.3 某 些 实际 考虑 


使 用 IR 结构 的 自 适 应 滤波 器 ( 子 带 滤波 和 域 变 换 技 术 已 在 第 7 章 讨论 过 ) 的 目的 是 为 了 
改进 基于 FIR 模型 的 标准 LMS 自 适应 滤波 器 的 性 能 。 为 此 , Liavas 和 Regalia(1998) 提 出 如 下 
实际 问题 : 


与 FIR 自 适 应 滤波 器 相 比 ,在 解决 回音 消除 问题 方面 ,IIR 自 适 应 滤波 器 是 否 呈 现 优越 的 
建 模 能 力 ? 


利用 最 小 二 乘 通 近 理论 ,Liavas 和 Regalia 利用 一 种 特殊 的 测试 方法 ,从 这 两 个 自 适 应 滤波 模型 
导出 先 验 的 性 能 水 平 作为 自由 参数 数目 的 函数 。 将 这 个 测试 方法 应 用 于 大 量 典型 的 室内 被 测 
声音 脉冲 响应 ,研究 人 员 发 现 ,与 FIR 模型 相 比 ,IR 模型 的 性 能 并 没有 明显 的 改善 。 其 原因 在 
于 回音 路 径 的 能 量 谱 中 存在 着 许多 陡峭 的 尖峰 。 





@ Mullis 和 Roberts(1976) 的 论文 是 理解 方程 误差 法 可 参考 的 早期 关键 文献 。 这 篇 论文 证 明了 方程 误差 最 小 化 与 由 指 

定 滤波 器 脉冲 响应 主要 数值 和 自 相 关 序列 设计 的 数字 滤波 器 之 间 存 在 着 密切 联系 。 同 时 ,还 得 到 了 如 下 这 个 重要 
结论 , 即 如 果 输 入 信号 u(n) 是 白 品 声 ,那么 从 式 (15.24) 可 以 看 出 , 当 用 与 所 (z) 类 似 的 方式 定义 E(z) 时 ,即使 误 
差 信 号 在 最 小 点 不 消失 ,“ 分 母 " 多 项 式 1 - B(z) 也 是 稳定 的 。 没 有 这 一 稳定 特性 ,在 典型 的 教师 强制 法 中 ,方程 误 
差 法 几乎 没有 任何 使 用 价值 。 
Söderström 和 Stoica(1981) 在 其 论文 中 进一步 证 明了 ,在 使 方程 误差 最 小 化 的 过 程 中 , 非 白 输入 信号 u(n) 会 得 到 不 
稳定 的 多 项 式 1- B(z), 从 而 将 对 能 否 在 一 般 环 境 下 使 用 这 一 近似 方法 产生 了 一 些 疑 问 。 经 过 对 这 个 问题 的 进 一 
步 研究 表明 (Regalia, 1994;L6pez-Valcare & Dasgupta, 1999) ,满足 Mullis-Roberts 稳定 性 的 条 件 可 以 推广 到 自 回归 度 小 
于 或 等 于 M+ 1 的 输入 信号 ,这 里 M 是 式 (15.1) 所 示 的 ARMA 模型 中 滑动 平均 分 量 的 阶 数 (注意 白 噪 声 相 当 于 一 
个 零 阶 自 回归 过 程 )。 
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Liavas 和 Regalia(1998) 所 进行 的 研究 的 重要 性 在 于 : 


e 为 了 解决 回音 消除 问题 时 ,不管 使 用 何 种 模型 ,都 要 求 该 模型 有 许多 自由 参数 。 
© 实际 上 ,声波 传播 是 一 种 分 布 式 的 物理 现象 ,这 就 解释 了 多 项 式 或 有 理 转移 函数 为 什么 
对 于 这 个 场合 是 不 合适 的 。 
音 消除 问题 给 我 们 一 个 实际 的 启示 :对 于 解决 重要 的 工程 实际 问题 ,利用 基于 有 限 线 
性 集 总 储 能 元 件 的 数学 模型 往往 是 不 合适 的 。 


有 关 回 音 消除 问题 ,我 们 应 该 考虑 其 另 一 方面 :声波 传播 这 一 物理 现象 既 有 空间 维 ,又 有 时 间 
维 。 因 此 ,这 个 问题 的 有 效 解决 本 质 上 必须 是 空 -时 的 , 即 空间 和 时 间 同 时 考虑 。 这 也 就 很 自 
然 地 涉及 空间 和 时 间 信 号 处 理 技术 的 结合 使 用 问题 。 


15.4 Laguerre 横向 滤波 器 


根据 刚刚 介绍 的 R 自 适应 滤波 器 的 讨论 和 前 几 章 对 FIR 自 适应 滤波 器 的 讨论 ,我们 可 
以 对 长 脉冲 响应 的 要 求 做 如 下 评述 : 


o 使 用 IR 结构 为 构造 高 效 长 脉冲 响应 自 适 应 滤波 器 提供 基础 ,但 使 稳定 问题 变 得 更 复杂 。 
o 使 用 FIR 结构 ( 即 横向 滤波 器 ) 容 易 解 决 稳定 问题 ,但 以 增加 计算 复杂 度 为 代价 。 


从 以 上 分 析 不 难看 出 ,结合 FIR 和 IIR 结构 优点 的 混合 方法 ,为 解决 长 脉冲 响应 自 适 应 滤 
波 器 问题 提供 了 一 个 折 中 方案 。 

构造 这 样 一 个 混合 结构 的 实际 方法 是 重新 考虑 构造 抽 头 延迟 线 存 储 器 的 方法 。 传 统 的 抽 
头 延 迟 线 存储 器 用 单位 时 延 z 来 表征 , 它 实 际 上 对 应 于 一 个 稳定 系统 脉冲 响应 的 均匀 抽样 。 
因此 ,基于 传统 抽 头 延迟 线 存 储 器 的 横向 滤波 器 的 阶 数 很 高 ,如 果 系 统 的 脉冲 响应 很 长 的 话 。 
我 们 可 通过 用 一 个 截断 的 正 交 序列 近似 该 脉冲 响应 来 改善 这 个 计算 问题 。 其 构造 通过 使 序列 
na” 正 交 化 来 获得 (这 里 , n 表示 离散 时 间 ,; 是非 负 整 数 ,1a1< 1)。 这 个 正 交 化 的 结果 得 到 
一 组 离散 序列 , 称 为 Laguerre 序列 0。 





© = Kautz(1954) K H Laguerre 方法 用 于 信号 处 理 及 与 此 相关 的 问题 。 他 是 用 一 个 截 短 的 标准 正 交 函数 序列 近似 一 个 
因果 ,线性 、 时 不 变 稳定 系统 的 脉冲 响应 。 而 后 , Wiener(1956) 将 该 方法 用 于 预测 理论 。 
Lee(1960) 提 出 了 用 标准 正 交 函 数 表示 的 相关 函数 和 功率 谱 密 度 公式 。Lee 在 书 中 讨论 了 用 标准 正 交 化 序列 表示 连 
续 时 间 系 统 的 Laguerre 函数 , 即 

te? 对 于 i=0,1,2,... 和 p>0 

式 中 ,上 表示 连续 时 间 。 
Fejzo 和 Lev-Ari(1997) 研 究 了 用 与 梯度 自 适应 格 型 (GAL) 算 法 类 似 的 方法 设计 自 适应 Laguerre 格 型 滤波 器 的 方案 。 
他 们 导出 的 算法 与 表 15.2( 见 习题 7) 所 示 的 算法 在 形式 上 有 所 不 同 。 而 Merched 和 Sayed(2000，2001) 则 解决 了 设 
计 阶 递归 自 适应 Laguerre-RLS 滤波 器 这 一 更 为 困难 的 问题 。 
Davidson 和 Falconer(1991) 讨 论 了 Laguerre 函数 自 适 应 回音 消除 器 的 设计 方案 。Wahlberg(1995) 研 究 了 多 种 Laguerre 
模型 系统 识别 方案 ,并 将 它们 作为 FIR 和 无 约束 OR 模型 方案 之 间 的 一 个 折 中 方案 。 
deVries 和 Principe(1992) 提 出 了 一 个 令 人 难以 理解 的 观点 , 即 每 个 部 件 建立 在 一 个 单 极 IIR 滤波 器 基础 上 的 广义 抽 
头 时 延 线 存 储 器 。 特 别 地 , 他们 证 明了 这 个 存储 结构 的 总 的 脉冲 响应 代表 一 个 离散 伽 马 被 积 郴 数 ,并 因此 用 "“ 伽 马 
存储 器 "这 个 术语 来 描述 广义 存储 器 。 伽 马 函 数 一 个 诱 人 的 特性 是 ,与 传统 的 抽 头 时 延 线 相 比 , 它 通过 控制 极点 的 
位 置 改 进 了 自身 的 记忆 深度 ,但 这 是 以 存储 器 分 辩 率 (zesolution) 为 代价 的 。 记 忆 深 度 定义 为 存储 结构 脉冲 响应 的 
一 阶 时 间 矩 。 存 储 器 分 辩 率 定义 为 存储 结构 中 每 单位 时 间 内 的 抽 头 数 。 记 忆 深 度 和 存储 器 分 辩 率 的 乘积 是 一 个 
等 于 存储 结构 的 阶 ( 即 , 节 数 ) 的 常数 。 
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Laguerre 序列 具有 简单 的 z 变换 形式 ,可 表示 为 (Broome，1965) 
-t i 
L(z,a) = V1 — @? & a) i = 0,1,2,... (15.25) 


(1 _ az 


它 可 由 图 15.4 的 Laguerre 抽 头 延迟 线 存 储 器 来 产生 。 这 个 存储 器 结构 在 它 的 前 端 包含 一 个 一 





V1 —- a? 














Lolz, @) = 72 ori (15.26) 
一 阶 低 通 _ 
ee 阶 全 通 滤波 器 级 联 
图 15.4 截 短 的 Laguerre 抽 头 延迟 线 存储 器 
其 后 紧 接着 若干 相同 的 一 阶 全 通 滤波 器 ,其 转移 函数 为 
A 
L(z, a) = 一 -a 对 于 lal <1 (15.27) 
因此 ,Laguerre 函数 可 表示 为 
L(z,a) = Lo(z,a)(L(z,a))' i=0,1,2,... (15.28) 


传统 的 抽 头 延迟 线 存储 器 是 图 15.4 的 Laguerre 抽 头 延迟 线 存 储 器 的 一 个 特例 。 特 别 地 ， 
4a 取 为 0 时 ,有 
Zo(z,0) = 1 (15.29) 
和 
L{z,0)=z? 对 于 i >] (15.30) 
Laguerre 序列 1;(n,a) (BA L; (2,0) At z 变换 ] 在 如 下 意义 上 构成 了 一 个 完备 的 正 交 集 : 
Klal <1 时 , 它 有 如 下 特性 
x fl 对 于 j =i 
之 4 om a) = t 对 于 Fi 


由 于 Laguerre 序列 的 完备 性 ,任何 物理 上 可 实现 的 实 序列 ( 即 任 何 脉冲 响应 )h(n) 可 取 非 截断 
形式 


(15.31) 


h(n) = > w(a)iin, a) (15.32) 
其 中 ,展开 式 的 系数 定义 为 
wa) = $ h(m)h(m, a) | (15.33) 


m=—0 


BR a 对 所 有 ;>0, 控 制 Laguerre 函数 L,(z,a) 的 极点 位 置 ,并 且 可 根据 eSilva(1995) 描 述 的 某 
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种 准则 以 离线 的 形式 进行 最 优化 。 

在 图 15.4 的 Laguerre 抽 头 时 延 线 存 储 器 中 , Laguerre 函数 正 交 序列 在 i = M 处 被 截断 。 使 
用 这 样 一 个 存储 结构 作为 某 一 横向 滤波 器 的 “骨干 ”部 分 , 则 可 得 到 图 15.5 所 示 的 Laguerre 横 
向 滤波 器 。 它 有 如 下 特性 : 


© Laguerre 横向 滤波 器 是 一 个 受 约束 的 TR 滤波 器 ,因为 其 转移 画 数 的 所 有 极点 都 固定 在 
z 平 面 的 同一 个 位 置 , 即 z = a kb. AF lal < 1, 这 一 约束 保证 了 Laguerre 横向 滤波 器 
是 稳定 的 ,但 也 使 它 的 灵活 性 不 如 IR 滤波 器 。 

o 按照 式 (15.29) 和 式 (15.30) ,传统 横向 滤波 器 是 Laguerre 横向 滤波 器 a =0 时 的 一 个 特例 。 

9 对 z 变换 为 U(z) 宕 1 的 任 一 输入 信号 ,用 z 变换 Uo(z,a),U(z,a),... ,表示 的 抽 头 输 
入 不 正 交 。 


Laguerre 横向 滤波 器 的 实际 价值 是 , 对 于 一 个 给 定 的 阶 数 履 , 它 能 够 比 同样 性 能 的 传统 
FIR 滤波 器 用 更 少 的 系数 获得 指定 的 建 模 误差 界 (Wahlberg,1991)。 计 算 复 杂 性 的 降低 归 因 于 
快速 收敛 速率 ,由 此 式 (15.32) 中 Laguerre 展开 式 的 系数 w (a) RE i 的 增 大 迅速 衰减 ,从 而 证 
实 了 在 某 个 i = M 处 截断 序列 (如 图 15.5 所 示 ) 是 正确 的 。 然 而 ,对 于 规定 的 建 模 误 差 ， 
Laguerre 横向 滤波 器 比 无 约束 IR 滤波 器 需要 更 多 的 系数 ,因为 它 对 其 极点 位 置 强加 了 约束 。 





Æ 15.5 Laguerre 横向 滤波 器 


15.5 自 适 应 Laguerre 格 型 滤波 器 


尽管 Laguerre 滤波 器 计算 方面 的 要 求 多 于 无 约束 IR 滤波 器 ,但 是 它 却 更 适合 自 适应 滤波 
应 用 。 我 们 之 所 以 这 么 说 ,是 因为 就 数学 上 处 理 的 难 易 而 言 , 自 适 应 Laguerre 滤波 器 工作 时 所 
涉及 的 自 适应 过 程 类 似 于 FIR 自 适 应 滤波 器 。 


15.5.1 平稳 数据 下 的 Laguerre 格 型 滤波 器 


具体 来 说 ,考虑 图 15.6 所 示 的 Laguerre 格 型 滤波 器 , 它 建立 在 式 (15.28) 定 义 的 Laguerre K 
数 级 联 表示 的 基础 上 。 图 15.6 的 格 型 结构 适合 于 建 模 低 通 或 带 通 离 散 时 间 系 统 , 其 转移 函数 
在 高 频 处 有 滚 降 特 性 。 与 图 3.12 的 传统 格 型 结构 ( 它 导 自 平稳 过 程 线性 预测 理论 ) 相 比 ,我 们 
看 出 它 对 图 3.12 做 出 如 下 变化 (Fejzo & Lev-Ari, 1997): 


© 前 向 和 后 向 预测 误差 的 初始 值 h(n) 和 566。(n), 用 响应 输入 信和 号 wu(n) 产 生 的 全 通 滤波 
器 Zoo(z,a) 的 公共 输出 代替 。 
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o 单位 时 延 z 用 全 通 滤波 器 L(z,a) 代 替 。 


输入 fln) An) fuain) 










图 15.6 用 于 联合 过 程 估计 的 Laguerre 格 型 滤波 器 
图 15.6 所 示 的 Laguerre 格 型 滤波 器 只 能 在 平稳 条 件 下 使 用 。 
图 15.7 给 出 Laguerre 格 型 滤波 器 的 基本 节 ,该 基本 节 用 单个 反射 系数 cm (m = 1,2,...,M) 
表征 。 滤 波 后 向 预测 误差 5,,_; (nn) 与 该 基本 节 输 入 端的 后 向 预测 误差 5b,.1(n) 之 间 的 关系 为 


bmn) = Liz, oa)[b,, 1(n)] (15.34) 
RE L(z,a) 是 5,_,(n) 算 子 。 将 式 (15.27) 的 全 通 算 子 L(z,a) 代 入 式 (15.34), 并 经 整理 得 
bai(n) = bmilan) + ab, im — 1) — bailn)) (15.35) 


fin-1(n) 


bn 
bit 9 


图 15.7 Laguerre 格 型 滤波 器 基本 节 


根据 第 3.8 节 介 绍 的 理论 ,对 于 实数 据 , 图 15.7 的 Laguerre 格 型 基本 节 的 输入 输出 特性 之 间 的 
关系 表示 为 


faln) = fn-i(n) + Kmbm-1(n) (15.36) 
和 
bn) = Bi(n) + wmfai(n) (15.37) 
式 中 6.1(n) 由 式 (15.34) 定 义 ,x, 是 该 基本 节 的 反射 系数 ,而 fp(n) 还 可 表示 为 
faln) = baln) = Lolz, o)[u(n)] (15.38) 
注意 到 低 通 算 子 Lo(z,a) 可 用 式 (15.26) 表 示 , 于 是 上 式 可 进一步 写 为 
fln) = b(n) = abo(n — 1) + V1 — ou(n) (15.39) 


至 此 ,完成 了 图 15.6 中 Laguerre 格 型 滤波 器 的 数学 描述 。 注 意 , 当 wx =0 时 ,图 15.6 的 Laguerre 
格 型 滤波 器 变 为 图 3.12 的 传统 格 型 滤波 器 。 
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15.5.2 梯度 自 适 应 Laguerre 格 型 算法 


图 15.6 的 Laguerre 格 型 滤波 器 很 自然 地 适合 于 自 适应 。 特 别 地 ,根据 第 12.1 节 介 绍 的 传 
统 自 适应 梯度 格 型 (GAL) 算 法 的 推导 方法 ,我们 可 从 待 最 小 化 的 实数 据 代 价 函数 
In = El finn) + bhlr] (15.40) 


出 发 ,导出 表 15.2 总 结 的 梯度 自 适 应 Laguerre #§ 24 (GALL, gradient-adaptive Laguerre lattice ) 算 
法 。 表 中 包含 多 级 格 型 预测 器 和 期 望 响应 估计 髓 , 它 构成 了 图 15.6 中 基于 Laguerre 的 联合 过 
程 估计 器 的 自 适应 实现 。 取 a =0, 从 而 表 中 5,_1(n) = 6,_1(n -1), 即 得 表 12.1 的 传统 GAL 
算法 。 

表 15.2 实数 据 联 合 过 程 估计 的 梯度 自 适 应 Laguerre 格 型 算法 小 结 


参数 : M = 最 终 预 测 阶 数 
B= 位 于 区 间 0<B<1 内 的 常数 
u <0.1 
a= 小 的 正常 数 
8= 另 一 小 的 正常 数 
多 级 格 型 预测 器 : 
对 于 预测 阶 数 m=1,2,...,M,& 
(0) = b, (0) =0 
&,-,(0) =a 
«(0) =0 
对 于 时 间 步 n=1,2,..., 令 
Poln) = b(n) = aby(n-1) + V1 = a? u(n) 
对 于 预测 阶 数 m = 1,2, . . . , M 和 时 间 步 n=1,2,..., 计 算 


bm-1€n) = bm-1(n-1)+albm-1(n-1)- bm-1(7)) 
faln) = fn Ce) + hm (= L) bg 1 Cn) 
by (n) = by (n) + en (mn - D fain) 
&,-1(n) = BE, )(n-1) + 1 - B)Cf3,-1(n) + 84-1 (n)) 


Km (n) =k, (n—1) -g Tr in (Bn) + bn-1(n)f,(n)) 


期 望 响应 估计 器 : 
对 于 预测 阶 数 m =0 及 所 有 n, > 
eo(n) = d(n) 
| b(n) |? =8 
对 于 预测 阶 数 mm=0,1,.. .及 , 令 
fh, (0) =0 
对 于 预测 阶 数 m=0,1,..., M 和 时 间 步 上 =0,1,..., 计 算 
em (1) = em-1 (n) — hy, (10) by (n) 
Il bala) l? = I| b,-1 (2) Il? + b? (Cn) 


n = n _—_ nie, (n 
ha +1) hl ) + Tb (nm pel en ( ) 
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15.5.3 使 用 精确 最 小 二 乘 估计 的 自 适 应 Laguerre 格 型 滤波 器 


根据 第 12 章 介绍 的 阶 递归 自 适应 滤波 器 ,我 们 知道 递归 最 小 二 乘 格 型 (LSL) 滤 波 器 具有 
如 下 特性 : 


@ 收 伍 性 好 且 失 调 低 ,RLS 算法 固有 的 这 两 个 特性 使 得 LSL 滤波 器 优 于 CAL 算法 。 

o 滤波 器 的 阶 数 的 线性 计算 效率 ,这 一 特性 可 通过 利用 瞬时 输入 数据 的 时 移 特性 获得 。 

遗憾 的 是 ,递归 LSL 理论 不 可 能 直接 应 用 于 Laguerre 自 适应 滤波 器 ,因为 这 些 滤波 器 中 相 
继 的 输入 向 量 ( 回 归 器 ) 不 满足 时 移 特性 。 然 而 , Merched 和 Sayed(2000, 2001) 巧 妙 地 利用 以 下 
三 个 步骤 克服 了 上 述 分 析 困 难 : 


1. 在 不 假设 输入 向 量 任何 基本 结构 的 条 件 下 ,重新 推导 阶 更 新 和 时 间 更 新 关系 式 。 

2. 导出 阶 递归 RLS 滤波 器 , 它 可 用 于 输入 向 量 不 具备 时 移 特 性 的 情况 。 

3. 通过 显 式 求解 正规 的 最 小 二 乘 问 题 , 导 出 联合 过 程 佑 计 的 阶 递归 Laguerre 格 型 滤波 

器 。 

最 后 结果 是 新 的 一 族 联 合 过 程 估计 的 阶 递归 RLS-Laguerre 滤波 器 , 它 基 本 上 类 似 于 标准 
的 最 小 二 乘 格 型 滤波 器 。 第 12 章 介 绍 的 标准 最 小 二 乘 格 型 理论 中 的 时 间 更 新 和 阶 更 新 关系 
式 可 推广 应 用 于 Laguerre 滤波 器 ,除了 阶 更 新 表达 式 中 涉及 一 个 用 6, (n) 的 新 误差 (位 于 滤波 
器 第 m 级 ) 外 。 新 的 RLS-Laguerre 格 型 滤波 器 有 别 于 标准 最 小 二 乘 格 型 滤波 器 的 特点 如 下 : 


© 需要 传播 三 种 误差 , 即 前 向 预测 误差 fa (n) Ja AMARE b,(n) 和 新 误差 be(n), i 
不 是 f,(n) Al b(n) 两 种 误差 。 
@ 需要 用 四 个 反射 系数 ,而 不 是 两 个 反射 系数 。 


这 个 新 的 (有 或 没有 误差 反馈 ) RLS-Laguerre 格 型 滤波 器 与 表 15.2 总 结 的 自 适应 梯度 
Laguerre 格 型 滤波 器 之 间 的 差别 如 下 : 


© 不 要 求 假 设 基本 过 程 是 平稳 的 , 它 是 导出 CALL 滤波 的 基础 。 
o 更 复杂 的 结构 ,由 新 的 误差 5b, (n) 和 附加 的 两 个 反射 系数 引起 的 。 


这 个 新 的 RLS-Laguerre 格 型 滤波 器 族 也 包含 一 个 基于 阵列 的 格 型 结构 ,涉及 使 用 酉 旋转 
(Merched & Sayed，2001)。 如 所 预期 的 , RLS-Laguerre 格 型 滤波 器 这 后 一 种 实现 ,对 因 使 用 有 限 
精度 运算 引起 的 数值 误差 的 鲁 棒 性 最 强 。 


15.6 本 章 小 结 


在 本 章 ,我 们 讨论 了 使 用 无 限 脉冲 响应 (IIR) 滤 波 器 作为 自 适应 滤波 器 的 情况 。 讨 论 中 所 
包含 的 内 容 如 下 : 


o 输出 误差 法 和 方程 误差 法 为 设计 零点 和 极点 完全 可 调 的 OR 自 适应 滤波 器 提供 了 两 种 
”不 同 的 方法 。 输 出 误差 法 遵照 传统 的 均 方 误差 最 小 化 方法 。 而 方程 误差 法 使 用 了 一 个 
不 同 于 实际 工作 条 件 下 使 用 的 训练 方法 。 其 目的 是 为 了 产生 一 个 二 次 代价 函数 ,从 而 
克服 在 方程 误差 法 中 可 能 发 生 的 局 部 最 小 问题 。 尽 管 新 的 代价 函数 现在 具有 二 次 特 


1 
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性 , 但 方程 误差 法 的 基础 理论 是 难以 理解 的 。 此 外 ,除非 采取 适当 的 预防 措施 ,否则 用 
输出 误差 法 或 方程 误差 法 设计 的 R 自 适 应 滤波 器 是 不 稳定 的 。 

© 自 适应 Laguerre 格 型 滤波 器 通过 使 用 一 连 串 约束 R 滤波 器 来 解决 稳定 性 问题 。 当 平 
稳 输入 时 ,图 15.6 所 示 的 阶 递归 ( 即 格 型 ) 结 构 的 使 用 ,通过 Laguerre 函数 作为 一 个 低 通 
滤波 器 和 截断 的 大 量 相同 的 全 通 滤波 器 的 级 联 表示 来 证 明 其 有 效 性 。 这 样 的 一 种 结构 
可 使 用 随机 梯度 方法 以 类 似 于 梯度 自 适应 格 型 算法 (GAL) 的 方式 来 实现 。 然 而 ,对 于 
非 平稳 输入 , 自 适 应 Laguerre 滤波 器 的 精确 最 小 二 乘 格 型 的 实现 是 很 困难 的 ,这 是 因为 
输入 向 量 不 满足 时 移 特性 , 它 使 得 直接 应 用 第 12 章 的 精确 最 小 二 乘 格 型 滤波 器 理论 无 
效 。 不 过 ,正如 第 15.5 节 末 尾 所 述 ,我 们 可 以 在 不 对 回归 向 量 基本 结构 做 任何 假设 的 
条 件 下 ,重新 推导 阶 更 新 和 时 间 更 新 关系 式 ,以 解决 这 个 问题 。 


15.7 习题 


. 图 1$.3 所 示 的 方程 误差 法 框图 中 含有 一 个 转移 函数 为 (1- B(z)) 的 部 件 , 它 用 于 计算 实 
际 输出 信号 y(n)。 说 明 包 含 这 一 部 件 的 理由 。 
. 使 用 式 (15.18) 和 式 (15.19) 这 两 个 近似 表达 式 可 以 减少 表 15.1 所 列 的 输出 误差 自 适应 滤 


波 算 法 的 计算 负担 。 讨 论 使 用 这 两 个 近似 表达 式 的 条 件 。 


. 为 了 缓解 自 适应 IR 滤波 器 可 能 出 现 的 系统 不 稳定 问题 ,要 在 自 适 应 IIR 滤波 算法 中 包含 


一 些 适 当 的 预防 措施 。 讨 论 如 何 订 出 这 些 稳 定 措施 。 


. 表示 图 15.5 所 示 的 自 适应 Laguerre 横向 滤波 器 的 LMS 算法 。 
. 对 于 平稳 数据 ,图 15.5 的 Laguerre 横向 滤波 器 的 抽 头 输入 满足 移 不 变 特性 。 令 & (nn) 表 示 第 


7 个 抽 头 输入 ,证 明 对 于 实数 据 , 有 

| E[é(n)é(n)] = Elé;, x(n)éo(n)] 
Ap E 表示 期 望 算 子 。 
从 


-= X 


E(n) = [é0(n), 6ta), s Em(n)] 
式 中 M 是 Laguerre 横向 滤波 器 的 长 度 。 当 滤波 器 处 理 平稳 数据 时 ,利用 习题 5 中 讨论 的 移 
不 变 特 性 证 明 相 关 和 矩阵 
R; = E[&(n)&"(n)] 
是 托 伯 利 兹 矩阵 。 


. 表 15.3 介 绍 了 一 个 修正 型 自 适应 梯度 Laguerre 格 型 算法 如 (Fejzo & Lev-Ari，1997) 所 述 。 从 


实数 据 代价 函数 出 发 , 即 
Jm = EL + baln)] 
导出 表 中 所 列 的 算法 。 如 前 ,fh(n) 和 6, (nn) 分 别 表示 m 阶 滤波 器 前 向 和 后 向 预测 误差 。 
关于 这 个 表 , 注 意 如 下 两 点 : 
(i) 参数 a 由 Laguerre 函数 指定 。 
(ii) 数学 期 望 El f,-1(n)},-:(n)1, ELF} i(n) +b2_i(n)] 和 Ele, (n)b, (nm)] 分 别 为 
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Elfa (mB i(n)] = Sf Bm) 
Elf2 1(n) + B21(n)] = per 2 a(i) + B2_4() 
和 


Eles(n)ba(m)] = SA" Meg (2)By (2) 


式 中 4X 是 0<4<1 藻 围 内 的 指数 加 权 因 子 。 
试问 ,哪些 特性 表征 了 表 15.2 的 CALL 算法 与 表 15.1 所 总 结 的 相应 算法 的 区 别 ? 


表 15.3 修正 型 自 适应 梯度 Laguerre 格 型 算法 


对 m=0, 置 
fo(n) =boln)=ab(n-1)+V 1-a uln) 
Do(n) = ADo(n-1) + b(n) 
对 m=1,2,...,M, HA 
bm -1 (nr) = bn + aby y(n - 1) = bya (n)) 
时 间 更 新 : | 
Dn—1(n) = AD, Cn -1) + (f2 -1(n) + 82,-1(n)) 
An(n) =AA, (1-1) + 2fp-1(n) b(n) 


An(n) 
Ka( n) = 一 D, 
阶 更 新 : 

faln) = fat + Rn(n) bln) 


bm a) = (nN) +Rn(n)f, (n) 


联合 部 分 : 
Xİ m=1,2,..., M, %8 
eo(n) = d(n) 
时 间 更 新 : 
Nai (1) = ANni Cn- 1) + en C2) bn Cr) 
main) = Nean) 
阶 更 新 : 


em+i(n)= en(n)— fig (0) by (nr) 


Ble 育 反 卷 积 


， 反 卷 积 (deconvolution) 是 一 种 能 拆 开 线性 时 不 变 系 统 卷 积 关系 的 信号 处 理 运 算 。 更 特别 
地 ,在 盲 反 卷 积 中 ,输出 信号 和 系统 均 已 知 ,而 要 求 是 重 构 所 需要 的 输入 信和 号。 然而 ,在 盲 反 卷 
fA (blind deconvolution)[ 更 确切 地 说 是 无 监督 反 卷 积 (unsupervised deconvolution ) ] 中 ,仅仅 知道 
输出 信号 (系统 和 输入 信号 均 未 知 ) ,要 求 求 出 输入 信号 和 系统 本 身 。 显 然 , 盲 反 卷 积 是 一 种 比 
普通 反 卷 积 更 难 的 信号 处 理 任 务 。 

为 了 替 盲 反 卷 积 问题 的 研究 铺 平 道路 ,本 章 从 介绍 盲 反 卷 积 理论 的 含义 和 实际 重要 性 入 
手 开始 我 们 的 讨论 。 


16.1 盲 反 卷 积 问题 概述 


考虑 输入 为 x(n) 的 一 个 未 知 线性 时 不 变 系 统 了 ,如 图 16.1 所 示 。 假 设 输入 数据 (承载 信 
息 ) 序 列 由 独立 同 分 布 (i.i.d.， independently and identically distributed) 的 符号 组 成 。 问 题 就 是 在 
仅 知 输入 概率 分 布 且 给 定 系 统 输出 观测 序列 u(n) 的 条 件 下 ,恢复 x(n), 即 辨识 系统 的 道 系 
FEL), 

如 果 系 统 中 是 最 小 相位 的 , 即 系统 转移 函数 的 所 有 极点 和 零点 均 在 z 平面 单位 圆 内 ,那么 
不 仅 是 稳定 的 ,而 且 逆 系统 也 -:! 也 是 稳定 的 。 此 时 ,我 们 可 将 输入 序列 x(n) 看 做 系统 输出 
u(n) 的 “新 息 ”, 而 道 系 统 多 -1 刚好 是 一 个 白化 滤波 器 ;利用 它 解决 了 盲 反 卷 积 问 题 。 这 种 方法 是 
根据 第 3 章 所 述 的 线性 预测 理论 导出 的 。 


不 可 测 观测 的 
数据 序列 线性 时 数据 序列 
x(n) WERE L u(n) 


图 16.1 育 反 卷 积 示意 图 


然而 在 许多 实际 情况 下 ,9% 并 不 是 最 小 相位 系统 。 若 系统 转移 函数 具有 z 平面 单位 圆 外 
零点 ,我 们 就 说 该 系统 是 一 个 非 最 小 相位 的 。 而 且 ,要 使 系统 具有 指数 稳定 性 , 它 的 极点 必须 
都 在 单位 圆 内 。 电 话 信道 和 无 线 衰 落 信 道 就 是 非 最 小 相位 系统 的 两 个 实例 。 此 时 ,要 在 给 定 
信道 输出 的 条 件 下 ,恢复 输入 序列 x(n) 是 相当 困难 的 。 

通常 ,在 数字 通信 中 使 用 的 自 适应 均衡 器 要 有 一 个 初始 训练 阶段 ;此 时 ,发 送 一 个 已 知 的 
数据 序列 。 在 接收 端 产生 一 个 与 发 送 端 完 全 同步 的 数据 序列 ,以 此 作为 均衡 器 的 期 望 响应 ,从 
而 有 可 能 根据 均衡 器 设计 所 采用 的 自 适 应 滤波 算法 调整 均衡 器 系数 。 当 训练 结束 后 ,均衡 器 
就 切换 到 面向 判决 的 模式 (decision-directed mode) ,开始 正常 的 数据 传输 。 在 第 5 BP, RTE 
经 讨论 过 自 适 应 滤波 器 的 这 种 工作 模式 。 然 而 ,在 某 些 实际 情况 下 ,我 们 十 分 希望 接收 机 无 需 
接 人 期 望 响应 ,就 能 获得 完全 的 自 适应 。 例 如 ,在 涉及 一 个 控制 单元 连接 到 多 个 数据 终端 设备 
(DTE) 的 多 点 数据 网 络 中 ,控制 单元 与 DTE 之 间 是 一 个 “ 主 、. 从 ”关系 ,因为 只 有 当 DTE 的 调制 
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解 调 器 被 控制 单元 的 调制 解 调 器 询问 时 , 才 人 允许 DTE 发 送 数据 。 这 类 网 络 特有 的 一 个 问题 
是 ,要 对 无 法 识别 数据 和 询问 信息 的 DTE 中 接收 机 进行 训练 的 问题 ,这 是 因为 信道 特性 的 急 
剧变 化 ,或 者 因为 某 个 接收 机 在 网 络 初 始 同步 期 间 未 接 通电 源 所 引起 的 。 显 然 ,在 一 个 大 型 网 
络 或 负载 很 重 的 网 络 中 ,如果 将 某 种 形式 的 盲 均衡 嵌 人 接收 机 设计 , 则 可 提高 数据 吞吐 量 , 减 
轻 监控 网 络 负担 (Godard，1980) 。 

另 一 类 需要 盲 均衡 的 通信 系统 是 采用 数字 技术 的 无 线 通信 系统 。 特 别 地 ,在 移动 通信 信 
道中 ,由 于 以 下 两 个 原因 ,不 能 使 用 长 持续 时 间 的 训练 序列 : 


e 通常 ,在 系统 的 接收 端 通过 再 现 已 知 的 发 送 序 列 来 训练 均衡 器 时 ,所 需 系 统 费 用 过 高 。 
© 移动 信道 不 可 避免 地 存在 多 径 衰 落 , 因 此 使 得 系统 中 线路 中 断 时 很 难 在 信道 上 确立 数 
据 传输 。 衰 落 是 由 于 发 送信 号 沿 多 条 长 度 不 同 的 路 径 传播 造成 的 。 


在 反射 地 震 学 中 ,传统 的 方法 是 通过 线性 预测 反 卷 积 从 地 震 图 中 滤 除 信 源 波形 (这 种 方法 
在 第 5 章 中 讨论 过 )。 预 测 反 卷 积 法 导 自 四 个 基本 假设 (Gray, 1979): 


1. 反射 系数 序列 是 白色 的 。 然 而 ,反射 地 震 图 经 常 违背 这 个 假设 ,因为 来 自 不 同 过 程 的 
反射 结果 加 到 声波 阻抗 上 。 在 许多 由 沉积 物 形成 的 盆地 中 ,有 些 薄 层 会 使 反射 序列 在 
符号 方面 彼此 相关 。 

2. 信 源 信号 是 最 小 相位 的 ,因为 它 的 所 有 零点 都 在 z 平面 的 单位 圆 内 ;这 里 假设 信 源 信 
号 是 离散 时 间 信 号 。 这 一 假设 对 几 种 爆炸 性 信 源 (例如 炸药 ) 来 说 是 合理 的 ,但 对 诸如 
海洋 探测 中 使 用 的 那些 更 加 复杂 的 信 源 来 说 ,这 只 是 一 个 近似 假设 。 

3. 反射 系数 序列 和 噪声 是 统计 独立 的 ,而 且 时 间 上 是 平稳 的 。 然 而 ,常常 违背 平稳 假设 ， 
因为 地 震波 是 呈 球 形 辐射 和 误 减 的 。 为 了 对 付 数据 的 非 平稳 性 ,可 采用 自 适 应 盲 反 卷 
积 。 但 是 ,这 一 方法 常常 会 破坏 人 们 感 兴趣 的 基本 事件 。 

4. 最 小 均 方 准则 用 来 求解 线性 预测 问题 。 然 而 , 仅 当 预测 误差 (反射 系数 序列 和 噪声 ) 服 
从 高 斯 分 布 时 ,该 准则 才 适 合 。 但 是 ,对 反射 系数 进行 的 统计 测试 表明 它们 的 峰 度 远 
高 于 由 高 斯 分 布 得 到 的 峰 度 。 一 个 分 布 函数 的 斜 度 (skewness) 和 峰 度 (kuriosis) 分 别 定 


义 为 
v= 5 (16.1) 
和 
Y2 = at 一 3 (16.2) 
AP o? 是 分 布 的 方差 ,ps 和 ju 分 别 是 3 阶 和 4 阶 中 心 矩 。 对 于 均值 为 零 的 实 值 高 斯 
分 布 ,yi =0, V, =3。 


值得 注意 的 是 ,预测 反 卷 积 法 忽略 了 反射 地 震 图 中 所 包含 的 有 用 相位 信息 。 使 用 盲 反 卷 
积 可 以 克服 这 一 局 限 (Godfrey & Rocca, 1981). 

数字 通信 中 的 盲 均衡 和 反射 地 震 学 中 的 盲 反 卷 积 是 一 种 特殊 的 自 适应 道 滤波 问题 。 仅 需 
提供 接收 信号 和 以 概率 信 源 模型 形式 表示 的 某 些 附加 信息 , 它 就 能 以 非 监 督 方式 工作 。 在 均 
衡 数 字 通 信和 信道 时 , 信 源 模型 描述 的 是 所 发 送 数据 序列 的 统计 特性 ; 而 在 地 震 盲 反 卷 积 情 况 
下 , 信 源 模型 描述 的 是 地 球 反射 系数 的 统计 特性 。 
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16.1.1 盲 反 卷 积 的 方法 


下 面 ,我 们 假设 感 兴趣 的 信道 建 模 为 某 一 FIR 滤波 器 ,而 要 求 是 均衡 该 信道 或 估计 脉冲 响 
应 。 取 决 于 用 线性 或 非 线 性 方法 完成 自 适 应 ,可 将 盲 反 卷 积 算法 分 为 两 大 类 : 


1. 线性 盲 反 卷 积 滤波 器 ”首先 ,这 类 讶 反 卷 积 滤波 器 以 整数 倍 符号 速率 对 接收 信和 号 进行 
过 抽样 ,由 此 把 接收 信号 变 为 一 个 多 信道 信号 。 而 后 的 任务 就 是 从 多 信道 信号 中 提取 
附加 信息 以 弥补 无 法 利用 信道 输入 或 期 望 响 应 的 不 足 。 完 成 这 个 任务 的 一 个 方法 0 
是 ,通过 采用 子 空间 分 解 过 程 开 发 利用 循环 平稳 形式 的 二 阶 统计 量 (SOS, Second-order 
statstics)(Tong et al., 1991), 

2. 非 线 性 育 反 卷 积 滤波 器 ”线性 滤波 器 与 二 阶 统计 量 有 关 , 而 非 线性 滤波 器 则 要 使 用 高 
阶 统计 量 。 利 用 接收 信号 高 阶 统计 量 (HOS higher order statistics) 的 方法 有 以 下 两 种 : 

9 在 显 式 意义 上 , 它 以 使 用 高 阶 累积 量 或 其 称 为 多 谱 的 离散 传 里 叶 变 换 ( 见 第 1 章 ) 作 
为 例证 。 能 保护 相位 信息 的 多 谱 特 性 ,使 得 显 式 的 基于 HOS 的 算法 很 适合 于 盲 反 卷 
积 (Pan & Nikias, 1988; Hatzinakos & Nikias,1989,1991)。 

© 在 隐 式 意义 上 ,这 种 方法 不 直接 利用 接收 信号 的 高 阶 统计 量 。 基 于 隐 式 HOS 的 算法 
包含 Bussgang 算法 。 之 所 以 称 为 Bussgang 算法 ,是 因为 当 算法 以 均值 收敛 时 ,其 言 反 
卷 积 的 信号 呈现 Bussgang 统计 特性 (Bellini，1986，1988，1994) 。 


基于 隐 式 HOS 的 盲 反 卷 积 算法 的 实现 相对 简单 且 一 般 性 能 良好 ,这 已 由 它 在 数字 通信 系 
统 中 的 实际 使 用 所 证 明 。 然 而 ,这 类 算法 有 两 个 基本 局 限 :其 一 是 有 可 能 收敛 到 局 部 最 小 点 ; 
其 二 是 对 定时 抖动 很 敏感 。 相 反 , 显 式 HOS 算法 通过 避免 对 代价 函数 的 最 小 化 ,避免 了 出 现 
局 部 最 小 问题 ;遗憾 的 是 ,其 计算 过 程 要 复杂 得 多 。 也 许 , 这 两 类 算法 的 一 个 最 严重 的 局 限 性 
是 收敛 速率 慢 。 只 要 注意 到 求 高 阶 统计 量 的 时 间 平 均 估 计 所 需 的 样本 数 远 多 于 二 阶 统计 量 的 
时 间 平 均 估 计 所 需 的 样本 数 ,就 不 难 发 现 这 两 类 算法 收敛 速率 慢 的 原因 。 按 照 Brillinger 
(1975) 的 理论 ,估计 某 一 随机 过 程 n 阶 统 计量 所 需要 的 样本 数 , 受 到 估计 偏差 和 方差 指定 值 的 
约束 , 它 几 乎 随 阶 数 n 呈 指 数 增长 。 与 依赖 于 训练 序列 工作 的 传统 自 适应 滤波 算法 相 比 , 基 
于 HOS 的 盲 反 卷 积 算法 收敛 速率 慢 就 不 足 为 奇 了 。 于 是 ,传统 自 适 应 滤波 算法 需要 几 百 次 选 





O 下 面 , 将 实现 盲 反 卷 积 的 其 他 方法 总 结 如 下 : 

。 最 小 噪声 子 空间 (Hua et al. ,1997)。 这 篇 文章 引入 了 最 小 噪声 子 空间 概念 , 它 根据 一 组 树 型 信道 对 进行 计算 。 
这 种 具有 最 小 宛 余 度 的 树 利 用 了 子 信 道 间 的 分 集 。 据 报道 ,这 一 新 方法 的 计算 效率 高 于 Moulines (1995) #2 th 
的 子 空间 法 。 

。 线性 预测 理论 (Slock，1964，1965; Papadias & Slock, 1999; Mannerkoski & Taylor, 1999), 4538 16.3 4 EFIR AY BBE 
识 子 空间 分 解法 不 同 ,这 一 预测 法 的 目的 是 盲 均衡 。Mannerkoski 和 Taylor 描述 的 方法 是 以 使 用 最 小 二 乘 格 型 预 
测 为 基础 ( 即 阶 递归 自 适应 滤波 ) 的 ,本 书 曾 在 第 12 章 讨 论 过 其 理论 。 

。 互 参考 滤波 器 (Gesbert et al.，1997)。 在 这 一 方法 中 ,考虑 了 几 种 滤波 器 。 在 自 适 应 过 程 中 ,每 个 滤波 器 的 输出 
作为 其 他 滤波 器 自 适 应 过 程 中 的 训练 信号 。 相 应 地 ,设计 一 个 多 维 均 方 误差 形式 的 代价 函数 ,其 最 小 化 似乎 提 
供 了 均衡 的 充 要 条 件 。 这 个 过 程 的 基本 理论 与 线性 预测 有 关 。 

。 线性 神经 网 络 (Tang & Chow，1999)。 这 个 方法 使 用 由 两 个 线性 神经 层级 联 的 网 络 ,该 网 络 跟 随 一 个 过 抽样 器 。 
网 络 的 第 一 层 对 抽样 器 的 多 信道 输出 进行 白化 处 理 。 第 二 层 ( 输 出 层 ) 设 计 用 来 对 传送 的 数据 符号 估 值 进行 优 
化 。 用 来 计算 这 两 层 可 调 权 值 的 随机 学 习 算 法 是 彼此 独立 的 。 

以 上 这 些 方法 都 有 一 个 共同 的 特性 :它们 都 引用 过 抽样 ,如 图 16.2 的 过 抽样 信道 模型 所 示 。 
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代 就 能 收敛 ,而 基于 HOS 的 盲 反 卷 积 算法 需要 几 干 次 迭代 才能 收敛 。 在 某 些 应 用 场合 (如 地 
震 反 卷 积 ) ,收敛 速率 的 快慢 并 不 是 严重 关切 的 问题 。 然 而 ,在 高 度 非 平稳 的 环境 下 ,例如 移动 
数字 通信 ,算法 可 能 会 没有 足够 的 时 间 达 到 稳定 状态 ,从 而 可 能 无 法 跟踪 环境 的 统计 变化 。 因 
此 ,这 类 盲 反 卷 积 算法 不 能 用 于 系统 要 求 快速 捕获 的 应 用 场合 。 

后 面 ,只 限于 讨论 如 下 两 类 盲 反 卷 积 问题 : 


© 盲 信道 辨识 用 基于 SOS 的 再 分 解法 , 它 包 括 第 16.2 节 和 第 16.3 节 。 这 种 面向 块 的 方法 
计算 量 很 大 。 

© 盲 信道 均衡 用 基于 隐 式 HOS 的 Bussgang 算法 族 , 它 包括 第 16.4 节 到 第 16.6 节 。 这 个 
面向 递归 的 方法 实现 简单 ,但 收敛 速率 慢 。 


在 不 严格 的 意义 上 ,可 将 这 两 种 算法 看 做 互补 的 。 在 第 16.7 节 ,将 把 它们 联系 在 一 起 。 
16.2 利用 循环 平稳 统计 量 的 信道 辨识 


在 基于 HOS 的 反 卷 积 算法 中 ,用 信道 输出 的 高 阶 统计 量 提取 非 最 小 相位 信道 的 未 知 相 位 
响应 信息 。 此 时 ,输出 信 叶 的 抽样 速率 等 于 波 特 率 , 即 符号 速率 。 此 外 ,我 们 也 可 以 利用 信道 
的 另 一 个 固有 特性 , 即 循环 平稳 性 来 提取 相位 信息 。 为 了 说 明 后 一 个 特性 , 先 将 数字 通信 系统 
的 接收 信和 号 表示 为 更 一 般 的 基带 形式 , 即 


u(t) = È xhi ~ KT) + v0) (16.3) 


式 中 x, 表示 每 隔 了 秒 ( 即 波 特 率 为 117) 发 送 一 个 符号 ,* 表示 连续 时 间 ,h(i) 是 信道 总 的 脉冲 
响应 (包括 发 送 和 接收 滤波 器 ) ,>(t) 是 信道 噪声 (不 要 把 这 里 使 用 的 信道 噪声 ”与 后 面 讨 论 
Bussgang 算 法 时 所 用 的 卷 积 噪声 v 相 混淆 )。 式 (16.3) 的 所 有 参量 都 是 复 值 的 。 假 设 发 送信 号 
x, 和 信道 噪声 v (1) 都 是 均值 为 零 的 广义 平稳 信号 , 则 容易 证 明 ,接收 信号 u(i) 的 均值 也 为 零 ， 
且 其 自 相 关 函 数 以 符 导 持续 时 间 了 为 周期 (见习 题 1) , 即 
r(t, ty) = E[u(t,)u*(t)] 
= r(t +T,t + T) 
这 表明 ,接收 信号 u(i) 是 广义 循环 平稳 的 。 

使 用 循环 平稳 性 作为 男 一 种 盲 反 卷 积 方法 的 基础 之 所 以 特别 吸引 人 ,是 因为 它 仅 仅 使 用 
二 阶 统计 量 即 可 提取 相位 信息 ,从 而 克服 了 基于 HOS 的 算法 收敛 速率 慢 的 限制 。 

Gardner( 1991) 是 第 一 个 看 出 调制 信号 的 循环 平稳 性 允许 仅仅 利用 二 阶 统 计量 就 可 以 恢复 
信道 的 幅度 和 相位 响应 的 学 者 。 然 而 ,利用 循环 平稳 统计 量 进行 盲 信道 识别 和 均衡 的 思想 则 
应 该 归功 于 Tong 等 (1991)。 事 实 上 , 仅 靠 二 阶 统计 量 即 可 求解 盲 反 卷 积 这 个 难题 的 能 力 被 看 
做 一 项 重要 的 技术 突破 。 由 Tong 等 提出 的 最 初 思想 依赖 于 使 用 时 间 分 集 , 即 对 接收 信和 号 进行 
过 抽样 。 通 常 ,在 数字 通信 系统 中 ,完成 该 运算 是 为 了 定时 和 相位 恢复 的 特定 用 途 。 然 而 ,就 
我 们 所 讨论 的 内 容 而 言 , 过 抽样 的 应 用 导致 一 个 分 数 间 隔 均衡 器 (FSE fractionally spaced equali- 
zer)。 之 所 以 这 样 称 谓 , 是 因为 其 均衡 抽 头 的 间隔 小 于 输入 符号 速率 的 倒数 。 

在 目前 已 提出 的 许多 分 数 间隔 盲 信道 识别 或 均衡 技术 中 ,我 们 选择 了 子 空 间 分 解法 , 它 与 


(16.4) 
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Schmidt( 1979) 最 初 提出 的 用 来 估计 信号 到 达 角 的 多 信号 分 类 (MUSIC, multiple signal classifica- 
tion) 算 法 之 间 有 密切 的 联系 。 因 此 ,下 一 节 所 述 内 容 揭示 了 这 样 一 个 事实 :在 求解 盲 反 卷 积 问 
题 时 ,可 以 从 大 量 的 统计 阵列 信号 处 理 文献 中 获得 许多 有 益 的 户 示 。 

16.3 分 数 间 隔 盲 辨识 用 子 空间 分 解 


正如 前 面 所 提 到 的 ,从 接收 信号 过 抽样 出 发 ,讨论 子 空间 分 解 。 假 设 接收 信号 u(i) 通 过 





令 
t= z (16.5) 
进行 过 抽样 , 式 中 T 表示 符号 间隔 ,L 为 正 整 数 。 则 式 (16.3) 取 为 离散 形式 
T oo T , 
(2) = PELE 一 kr) + (2) (16.6) 
令 
i=nL+I 1=0,1,...,L—-1 (16.7) 
式 (16.6) 可 改写 为 
unr + 全 | = PELC —k)T + m) + of nr + 7) (16.8) 


为 了 表示 方便 , 设 


IT 
D = T + T) 
vy v|» L 


因此 ,我 们 可 用 如 下 简单 形式 定义 式 (16.8) 的 过 抽样 信道 输出 
ul) = py x ho, + vo 1=0,1,...,L-1 (16.9) 
大 = 一 co 
在 进一步 阐述 这 个 问题 前 , 先 做 如 下 两 个 假设 : 
1. 信道 是 因果 且 具 有 有 限时 间 支 持 的 , 即 


h =0 对 于 k < 0 或 k > M 和 所 有 的 ! (16.10) 
式 中 M 是 真实 信道 的 阶 数 。 
2. 在 n 时 刻 , 接 收 机 处 理由 发 送信 号 向 量 引 起 的 信道 输出 , 它 由 M+ WN 符号 组 成 , 即 
x, = [Xn Xa- Xn MN+1] (16.11) 


因此 ,在 接收 端 我 们 发 现 ,每 个 数据 块 含有 NL 个 样本 。 取 决 于 这 些 样本 如 何 分 抉 , 过 抽样 信 
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道 有 如 下 两 种 等 效 的 矩阵 表示 : 


1. 单 输入 多 输出 (SIMO,single-input，multiple-output) 模 型 ” 它 由 共享 一 个 输入 端的 荆 个 子 
信道 组 成 ,如 图 16.2 所 示 。 每 个 子 信道 具有 类 似 的 时 间 支 持 和 各 自 的 噪声 分 布 。 设 
第 1 个子 信 道 可 表征 如 下 : 

e (M+1) x1 抽 头 权 (系数 ) 向 量 
hO = [A hP... AQ] 
e N x1 接收 信和 号 向 量 
T 


vw = [uP ut,... ,uO y+] 


eNx1 噪声 向 量 


T 
vh = [p,n] 


yeh) 





wed 


图 16.2 单 输入 多 输出 过 抽样 信道 模型 
于 是 ,可 用 和 矩阵 形式 (代表 N 个 连续 的 接收 信号 ) 将 式 (16.9) 简 洁 地 表示 为 


wu) = HOx, + vO =0,1,...,L—1 (16.12) 
式 中 发 送信 号 向 量 x, 由 式 (16.11) 定 义 。N x (M+ NERE H? 具 有 托 伯 利兹 
(Toeplitz) 结 构 ,可 表示 为 
hO hi) wae hv 0 
HO -| ° ho 7 hM- hi 和 (16.13) 
0 0 + AO hP hQ 


最 后 ,将 式 (16.12) 的 工 个 方程 构成 的 方程 组 合并 为 单一 式 子 ,可 写 出 
tn = Ax, + on (16.14) 
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式 中 


是 LN x 1 多 信道 接收 信号 向 量 


是 Lvxl 多 信道 噪声 向 量 ,而 

HO 

(1) 
H = H (16.15) 

H4!) 
LN x (M + N) 是 信道 卷 积 矩阵 ,矩阵 中 的 各 项 由 式 (16.13) 定 义 。 
. Sylvester HERR “其 中 具有 相同 延迟 下 标 工 个 子 信道 系数 多 分 在 一 起 , 即 
hy = [op ... hV] kk =0,1,...,M 


相应 地 ,定义 L x 1 接收 信号 向 量 


u, = [Hula DP 
Al OL x 1 ORFS fe) 
vi = [P oD, ev 
然后 ,在 此 基础 上 用 式 (16.9) 将 NL 个 接收 信和 号 组 合 为 
u, 
; Un-1 
en 一 : 
‘ (16.16) 
UN+1i 
一 HX, + on 
式 中 ,发 送信 号 向 量 x, 由 式 (16.11) 定 义 。LN x 1 ORFS al ho’, 定义 为 
v, 
i Vr-1 
On = : 
To-N+l 


而 LN x (M+ NN) 和 矩阵 KH' 定义 为 
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h) hi - hy 0 .… 0 
0h: hy, hy: 0 

H' : D ` ~ ' WM : (16.17) 
0 0 .… W hi : hy 


SP ERFEAA A ZZ EREH' IRA Sylvester 合成 矩阵 (Rosenbrock , 1970; Tong et al., 1993), Al 
此 ,这 个 术语 用 来 称谓 过 抽样 信道 的 第 二 种 矩阵 表示 。 
令 人 感 兴 趣 地 注意 到 , 单 输入 多 输出 (SIMO) 信 道 能 够 利用 工 个 传感器 或 天 线 组 成 的 阵列 
获得 ,正如 前 面 所 论述 的 。 


16.3.1 WERKE 


分 别 由 式 (16.15) 和 式 (16.17) 定 义 的 矩阵 区 和 XH!' 中 所 包含 的 信道 信息 是 相同 的 ,它们 之 
间 的 主要 区 别 是 行 向 量 的 排列 顺序 不 同 。 最 重要 的 是 ,由 KH 或 K' 的 各 列 所 张 成 的 空间 是 规范 
等 效 的 。 因 此 ,从 现在 开始 ,我 们 只 需 讨论 图 16.2 所 示 的 单 输入 多 输出 模型 。 
多 信道 滤波 和 矩阵 ?4 在 盲 辩 识 问题 时 起 着 核心 作用 。 特 别 地 , 当 且 仅 当 7 列 满 秩 时 ,该 问题 
才 有 解 。 由 Tong 等 (1993) 提 出 的 一 个 重要 定理 论述 了 这 个 要 求 ,该 定理 可 表述 如 下 ; 
eLIVx(MH+N) 信 道 卷 积 矩阵 11 是 满 秩 阵 [ 即 rank(7t) = M+ N], 只 要 满足 三 个 条 
件 : 
1. 多 项 式 


M 
H(z) = X az” 1=0,1,...,L—-1 


m=0) 


没有 公共 零点 。 
2. 至 少 一 个 多 项 式 H'?(z),1=0,1,...， 了 -工具 有 最 大 可 能 的 度 M, 这 个 条 件 通 常 称 
为 信道 不 等 性 条 件 。 
3. 每 个 子 信道 接收 信号 向 量 w? 的 维 数 N 大 于 MM。 
利用 这 个 定理 (今后 ,我 们 将 这 个 定理 称 为 滤波 和 矩阵 秩 定 理 ) ,很 容易 阐述 育 辨 识 的 子 空间 
分 解法 。 


16.3.2 HAA 


基本 方程 (16.14) 是 过 抽样 信道 的 矩阵 表达 式 。 这 个 方程 可 用 图 16.3 所 示 的 框图 来 表 
示 。 这 个 框图 可 以 看 做 图 16.2 所 示 的 单 输入 多 输出 模型 的 一 个 简化 模型 。 为 了 进行 信道 的 
统计 特性 分 析 ,做 如 下 假设 : 

@ 发 送信 号 向 量 x, 和 多 信道 噪声 向 量 v, 由 统计 独立 的 广义 平稳 信 源 产生 。 

e 发 送信 号 向 量 x, 的 均值 为 零 ,相关 和 矩阵 为 

R, = E[x,x"] 
RH (M+ N) x (M+ N) 38M R, 是 一 个 未 知 的 列 满 秩 和 矩阵 。 
o 加 性 信道 噪声 是 白 品 声 。 这 个 噪声 向 量 y, 的 均值 为 零 , 相 关 算 阵 为 


自 适应 滤波 器 原理 


R, = E[v, v7] 
= gl 


式 中 噪声 方差 o 是 已 知 的 ,而 I 为 Nx N 单位 阵 。 
因此 ,LN x1 接收 信号 向 量 w, 的 均值 为 零 , 而 相关 和 矩阵 定义 为 


R = Elwwt | 
= E| (Hx, + on) HX, + on) | 
= E[ Hx, x? H"] + 五 [wo | (16.18) 
= HR,H" +R, 
其 中 
= Elo(n)o# 
R, | (n)o*(n)| (16.19) 
= olin 
式 中 Ln 是 LN x LN 单位 阵 。 应 该 注意 ,信号 诱导 项 HR, 7 的 秩 为 M+ N, 它 小 于 相关 和 矩阵 R 
的 维 数 LV。 事实 上 ,和 矩阵 R 的 信号 诱导 部 分 的 奇异 性 是 用 于 所 有 子 空间 估计 算法 的 一 个 关 


键 特 性 。 





图 16.3 过 抽样 信道 的 矩阵 表示 


为 了 获得 对 盲 辨识 问题 的 深入 了 解 ,我 们 用 最 初 由 Schmidt(1979,1981) 提 出 的 几何 框架 来 
考虑 这 个 问题 。 首 先 ,引用 附录 EE 的 谱 定 理 ,按照 其 特征 值 和 相应 的 特征 向 量 来 描述 LN x LN 


(16.20) 


相关 和 矩阵 
LN-1 
R= > Add 
k=0 


式 中 特征 值 以 递减 顺序 排列 


o> à re E Àm- 


其 次 ,我 们 用 滤波 矩阵 秩 定理 将 这 些 特征 值 分 成 两 组 ; 
1. à, > 0? k=0,1,...,M+N-1 
2. Àp =0° k=M+N,M+N+1,...,IN-1 
因此 ,由 和 矩阵 R 的 特征 向 量 所 张 成 的 空间 可 分 为 两 个 子 空间 : 
1. 信和 号 子 空间 该 空间 由 特征 值 4 ,1，,...， 4x+w-1 相 应 的 特征 向 量 张 成 。 这 些 特征 
向 量 可 写 为 
k=0,1,...,M+N-1 


S: =q; 


2. 噪声 子 空 间 N 该 空间 由 其 余 的 特征 值 Wy,w ,Any wi,... ,Aw_!1 所 对 应 的 特征 向 量 张 
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成 。 这 些 特征 向 量 可 写 为 
2. = dy+r nek k=0,1,...,EN-M-N-1 
We Fs 2s [a] FL SS |] A IE 204 
定义 
Re, = og: k=0,1,...,.LN-M-N-1 (16.21) 
将 带 有 R = oI 的 式 (16.18) 代 入 式 (16.21) 后 ,经 化 简 后 得 
HR,H"g, = 0 k=0,1,...,LN-M-—-N-1 
因为 矩阵 ?7t 和 R, 都 是 满 秩 阵 ,由 此 可 得 出 
| Hg, = 0 k=0,1,..,LN-M-N-1 (16.22) 
7b (16.22) Fz Moulines 等 (1995) 给 出 的 育 辨 识 子 空间 分 解法 的 理论 框架 。 这 个 方法 建立 在 
下 列 基 础 上 : 
e 接收 信号 向 量 “ ;的 相关 和 矩阵 RR 的 LIN- M-N 个 最 小 特征 值 对 应 的 特征 向 量 的 知 
识 。 
© 未 知 多 信道 滤波 矩阵 所 的 各 列 与 噪声 空间 NN 的 正 交 性 。 
换 句 话说 ,在 一 个 乘 性 常数 范围 内 ,由 相关 和 矩阵 R 表征 的 接收 信号 e, 的 循环 平稳 性 确实 
足以 满足 信道 盲 辩 识 的 需要 。 
16.3.3 另 一 个 正 交 条 件 公 式 
从 计算 的 观点 看 , 式 (16.22) 所 示 的 另 一 个 正 交 条 件 公 式 使 用 起 来 更 加 方便 。 为 此 , 先 将 
这 个 条 件 改写 为 等 效 的 标量 形式 
IH gd? = gf HH gL. = 0 k=0,1,...,LN-M-—-N-1 (16.23) 
考虑 到 式 (16.15) 所 示 的 信道 郑 积 矩阵 的 分 块 结构 ,可 将 LN x 1 特征 向 量 g 用 相应 的 方式 分 
块 为 


gx >= k (16.24) 
gi) 


RP gP (1=0,1,...,L-DENx1ME, HK, REA (16.13) BH HO 的 组 成 方 
式 , 我 们 构造 (M+1) x (M+ NN) 和 矩阵 


aah Ski Bi. 1 d 0 
0 gt! - - 0 
GO Bk.0 l Bin 2 Ek N 1 (16.25) 
i l I 
0 0 :本 g e gi 


最 后 , 当 1=0,1,..., 工 -1 时 ,按照 描述 信道 卷 积 矩阵 11 的 式 (16.15) ,我 们 对 1=0,1,...， 
了 - 1 利用 式 (16.25) 定 义 的 矩阵 来 构造 LCM + 1) x(MN+N) 和 矩阵 
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GY 
Gi) 
Gr = f k=0,1,...,.LN-M-N-1 (16.26) 
Gib“) 
给 定 刚刚 定义 的 9; , 则 可 以 证 明 ( 见 习题 3) 
gf HAs, = h"G,Gih (16.27) 
式 中 
h® 
hí)? 
nen) 


是 按照 多 信道 系数 定义 的 L(M +1) x 1 向 量 。 故 可 用 等 效 形式 表示 式 (16.23) 的 正 交 条 
件 


hiG.Glh = 0 k=0,1,..,LN-M-N-1 (16.28) 
这 就 是 我 们 所 期 望 的 关系 式 。 在 式 (16.28) 中 ,未知 多 信道 系数 用 向 量 h 表示 ,而 在 式 (16.23) 
中 , 则 以 高 度 灵 巧 结构 的 矩阵 ?4 表征 信道 系数 。 
16.3.4 估计 信道 系数 


在 实际 应 用 中 ,我 们 必须 使 用 特征 向 量 g 的 估 值 。 假 设 这 些 估 值 用 名 (k= 0,1,.…， 
IN - M - N- 1) 表示 。 为 了 推导 多 信道 系数 向 量 的 估计 式 ,利用 式 (16.28) 的 正 交 条 件 定义 代 
价 函 数 





Eh) = h” Qh (16.29) 
式 中 
LN-M-N-1 ~ 
Q= Dd GG (16.30) 
k=0 


是 一 个 LCM+1) x L(M + 1) 58. ERR, 由 式 (16.26) 和 式 (16.25) 定 义 , 不 过 在 这 两 个 
式 中 要 用 g, 代替 g, 。 在 真实 ( 非 佑 计 ) 相 关 和 矩阵 R 的 理想 情况 下 ,真实 ( 非 估计 ) 多 信道 系数 
向 量 h 可 由 条 件 名 (h) = 0 惟一 确定 (除了 一 个 乘 性 常数 外 )。 利 用 基于 估 值 g; KWER, me 
h 的 最 小 二 乘 估 计 通 过 最 小 化 代价 函数 名 (h) 来 计算 。 然 而 ,这 个 最 小 化 必须 在 合适 约束 条 件 
下 完成 ,以 避免 h = 0 这 一 平凡 解 。Moulines 等 (1995) 提 出 了 两 条 可 能 的 优化 准则 : 

1 线性 约束 ”在 约束 条 件 oh = 1 下 最 小 化 代价 函数 和 (h) ,其 中 ec 是 一 个 任意 的 L(M +1) 

x 1 向量。 

2. 二 次 约束 ”在 约束 条 件 bl =1 时 最 小 化 代价 函数 名 (h) 。 

第 一 个 准则 要 求 指定 一 个 任意 向 量 e, 而 第 二 个 准则 看 起 来 似乎 更 自然 些 ,但 其 计算 量 
更 大 。 
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16.3.5 实际 考虑 


由 式 (16.5) ~ 式 (16.30) 包 含 的 子 空 间 分 解 理论 是 一 个 相当 理想 化 的 理论 ,因为 它 的 成 功 
运用 依赖 于 如 下 三 个 假设 : 


1. 加 性 信道 噪声 v (i) 是 白 噪声 , 且 已 知 其 方差 为 do 
2. 图 16.2 所 示 模 型 中 虚 信 道 转 移 函 数 无 公共 零点 。 
3. 信道 的 阶 数 M 已 知 。 


第 一 个 假设 是 合理 的 。 为 了 考察 第 二 个 假设 的 合理 性 ,我们 需要 知道 信道 阶 数 W 的 确切 值 ， 
而 它 恰 是 第 三 个 假设 的 实质 性 内 容 。 遗 憾 的 是 ,在 实际 中 无 法 获得 这 些 信息 。 因 此 ,我 们 不 得 
不 利用 过 抽样 数据 矩阵 来 估计 信道 阶 数 。 

确定 模型 阶 数 的 问题 会 由 于 其 他 实际 情况 变 得 复杂 :典型 地 ,通信 信道 脉冲 响应 很 长 且 可 
分 解 为 两 部 分 : 


9 主 部 它 位 于 脉冲 响应 的 中 间 部 分 , 且 构 成 脉冲 响应 的 主要 部 分 。 
9 尾部 它 由 脉冲 响应 的 前 导 部 分 和 尾部 组 成 ,在 整个 响应 中 所 占 比例 较 小 。 


以 此 为 基础 ,可 定义 有 效 信道 阶 数 为 信道 脉冲 响应 主 部 的 阶 数 。 当 然 , 有 效 信道 阶 数 小 于 信道 
阶 数 的 真正 值 。Liavas 等 (1999a) 在 论文 中 指出 ,在 盲 信道 辩 识 问题 中 ,只 需 建 模 信道 脉冲 响应 
的 主 部 。 设 定 这 个 限制 的 原因 是 ,除了 建 模 信道 脉冲 响应 主 部 外 ,人 们 也 试图 建 模 其 尾部 ,最 
后 可 能 导致 一 个 病态 的 过 建 模 情况 ,由 于 计算 的 原因 这 是 应 该 避免 的 。 因 此 , 设 定 了 这 一 限 
制 。 名 略 信道 脉冲 响应 尾部 所 造成 的 影响 ;相当 于 引入 一 个 可 看 做 有 色 噪 声 的 扰动 。 


16.3.6 经 典 信息 论 准 则 不 能 成 功 地 确定 有 效 信道 阶 数 的 原因 


为 了 估计 未 知 的 有 效 信道 阶 数 MM, 可 采用 经 典 的 信息 论 准 则 , 即 Akaike 的 信息 论 准则 
(AIC) 和 Rissanen 的 最 小 描述 长 度 (MDL) 准 则 。 根 据 第 1 章 的 讨论 ,我 们 已 经 得 知 ,这 两 个 准则 
的 推导 基于 两 个 假设 :相继 数据 向 量 是 独立 同 分 布 (i.i.d.) 的 零 均 值 高 斯 随机 向 量 , 而 加 性 噪 
声 是 与 信道 输出 端 承 载 信息 的 信号 不 相关 的 白 高 斯 噪声 。 遗 憾 的 是 ,在 某 些 情况 下 ,这 两 个 假 
设 的 有 效 性 对 于 盲 信道 辨识 问题 是 靠不住 的 ,原因 如 下 : 

e 式 (16.18) 的 相关 和 矩阵 R 是 由 呈现 时 移 特性 的 数据 向 量 构成 的 ,结果 是 相继 数据 向 量 之 

间 不 是 统计 独立 的 ,这 意味 着 第 一 个 假设 无 效 。 
o 考虑 信道 脉冲 响应 尾部 影响 ( 它 在 确定 有 效 信道 阶 数 时 忽略 掉 ) 的 加 性 有 色 噪 声 ,使 第 
二 个 假设 无 效 。 


实际 上 ,利用 实测 微波 无 线 信道 数据 ,Liavas 等 (1999b) 已 经 证 明 :基于 AIC 和 MDL 准 则 的 模型 
阶 数 估 值 对 信 噪 比 (SNR) 变 化 和 估计 中 所 用 的 数据 样本 数 是 很 敏感 的 。 说 明 如 下 : 


© 当 高 SNR(SNR > 30 dB) 和 多 数据 样本 (NN > 300) 时 ,用 这 两 个 信息 论 准 则 将 导致 过 建 模 ， 
它 将 使 得 到 的 模型 阶 数 估 值 是 实际 上 无 用 的 。 

o 当 低 SNR 和 少数 据 样本 数 旦 模型 的 统计 特性 变化 不 是 很 大 时 ,AIC 和 MDL 提供 了 模型 
阶 数 的 有 用 估 值 , 它 导致 足够 好 的 讶 辨识 结果 。 然 而 ,这 些 估 计 值 对 统计 变化 高 度 敏 
感 ,使 得 该 结果 对 于 实际 应 用 不 能 令 人 满意 。 此 外 ,对 统计 变化 的 敏感 性 是 造成 数据 分 
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类 [分 为 欠 建 模 或 过 建 模 (undermodeled or overmodeled) ] 混 乱 的 原因 之 一 ,这 显然 是 我 们 
所 不 希望 的 。 


16.3.7 秩 检 测 准 则 


为 了 克服 经 典 信息 论 准则 的 局 限 性 , Liavas 等 (1999b) 提 出 一 种 确定 有 效 信道 阶 数 M 的 
秩 检测 准则 (rank-detection eriterion) 。 这 个 新 的 准则 来 源 于 数值 分 析 。 只 要 注意 到 这 里 所 述 的 
基于 SOS 的 育 信 道 辨 识 方 法 依赖 于 子 空间 分 解 思想 ,就 会 明白 采取 该 准则 是 一 件 很 自然 的 
事 。 


A 


1% 
= Y enet (16.31) 


LN x 1 BCE AGRA. Bit R 为 两 个 分 量 ( 秩 为 p 的 “理想 ”矩阵 Raa M R EE E 
和 , 即 
R = Rigea + E (16.32) 
秩 p 定义 为 
p=N+M (16.33) 
有 效 信道 阶 数 民 , 从 而 秩 p BRE. RE Hai EE E 由 三 部 分 影响 组 成 :(1) 忽 略 的 信道 
脉冲 响应 尾部 ;(2) 白 色 或 有 色 加 性 信道 噪声 ; (3) 计 算 良 估 值 时 产生 的 数值 误差 。 此 外 ,还 假 
BE E/NF Rau。 
JR 8 Raa A Ey WS EY , EHAE BK hg YY ERREA KM 
RTE, SCRE, PATE AMAT APY EK TL RETO. BER 的 谱 分 解 为 


R= Yaa? (16.34) 


AD #R HH p RKE í Âs.. ,和 ;相应 的 特征 向 量 张 成 的 “估计 ”信号 子 空间 , 放 表 示 
由 其 余 的 特征 值 Â, ,人 ,. .. ,hw-1 相 应 的 特征 向 量 张 成 的 “估计 ”噪声 子 空间 。 吕 声 子 空间 从 
与 信号 子 空间 ?中 彼此 正 交 。 

我 们 所 要 寻找 的 是 “理想 ” 子 空间 iow 的 一 个 近似 , 即 由 和 矩阵 Rs。 的 列 向 量 张 成 的 一 个 p 
维 子 空间 。 特 别 地 ,可 用 由 和 良 求 出 的 近似 表示 iswn。 引 用 Rs 的 秩 等 于 p 这 一 假设 ,可 以 导 
出 扰动 矩阵 到 的 平方 欧 氏 范 数 的 下 界 

JEI? =A, . (16.35) 

这 里 至 上 表示 矩阵 也 的 范 数 (矩阵 范 数 的 定义 见 附 录 E)。 换 名 话说 ,未 知 的 “理想 "信和 号 子 
空间 和 “估计 ”信号 子 空间 是 通过 一 个 范 数 大 于 等 于 特征 值 1 的 扰动 矩阵 联系 在 一 起 的 。 

因为 与 理想 矩阵 Rss 相 比 ,假设 扰动 矩阵 下 是 小 的 ,所 以 我 们 很 希望 估计 信号 子 空间 了 在 
某 种 意义 上 接近 要 确定 的 理想 信号 子 空间 Fian。 最 后 ,注意 到 尽管 式 (16.35) 不 足以 计算 这 两 
个 信号 子 空间 之 间 的 距离 ,但 它 还 是 为 我 们 检查 估计 信号 子 空间 中 相对 于 小 扰动 的 敏感 性 指 
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出 了 一 个 方法 。 下 面 , 用 一 个 LN x LN 矩阵 表示 这 一 扰动 , 其 大 小 ( 即 平方 欧 氏 范 数 ) 定 义 为 
lel? >A, (16.36) 
这 是 实际 扰动 矩阵 卫 可 能 有 的 最 小 范 数 。 
一 方面 , 若 呆 对 扰动 gs 不 敏感 , 则 认为 估 值 信号 子 空间 中 接近 于 理想 信号 子 空间 gu 是 正 
确 的 。 另 一 方面 ,车 中 对 扰动 敏感 ,就 有 理由 认为 这 两 个 信号 子 空间 是 相互 远离 的 。 
以 这 些 直觉 上 令 人 满意 的 思想 为 基础 ,可 将 秩 估 计 准 则 表述 如 下 (Liavas et al. ,1999b) : 


理想 矩阵 Ru 未知 秩 的 估 值 是 一 正 整数 p, 与 估 值 信号 子 空间 守 有 关 的 算 阵 

§ = > aa? (16.37) 
AHF lel’ =, (C8 p RHA THA) MAUD s PRRRRM, 
然后 ,考虑 用 来 估计 和 矩阵 及 的 菜 一 扰动 s, 由 此 得 到 一 个 新 的 矩阵 


R=Rie (16.38) 
其 谱 分解 式 为 
~ LN- 
R= 之 AAF (16.39) 
Pak, Ay EXI h an F ERE 
~ 一 1 ~ 
S= > AJE (16.40) 


描述 的 “扰动 "信号 子 空间 。 
为 了 进一步 讨论 ,利用 两 个 同 维 线性 子 空间 之 间 的 距离 测度 , 即 数值 分 析 中 常用 的 典型 角 
三 角 正 弦 的 概念 。 特 别 地 ,这 可 表述 如 下 (Stewart & Sun, 1990): 
设 卫 和 了 表示 两 个 同 维 的 线性 子 空间 ,用 矩阵 义 | 的 列 向 量 构造 空间 了 |( 即 ,空间 外 的 
JERR Fh) OAR IERAR, AREY 的 列 向 量 构造 空间 工 的 标准 正 交 基 。 那 么 ,矩阵 XI Y 
的 非 零 奇 异 值 就 是 子 空 间 筷 和 Y 之 间 非 零 规 范 角 的 正弦 。 
在 此 基础 上 ,引入 所 要 寻求 的 距离 测度 
F = |sinz(¥, F)? (16.41) 





RLS SP ) 是 子 空间 和 9 之 间 的 夹 角 。 结 果 是 ,这 个 距离 测度 决定 于 扰动 e 的 大 小 以 及 与 


扰动 信号 子 空间 和 估计 噪声 子 空间 有 关 的 特征 值 之 间 的 间隔 (Wedin, 1972)。 基 于 这 个 结 
果 ,Liavas 等 (1999b) 继 续 导 出 下 面 的 距离 测度 了 的 上 界 





3 (16.42) 


式 (16.42) 表 明 , 估 计 信和 号 子 空间 中 相对 于 满足 式 (16.36) 的 扰动 e 的 敏感 性 , 主要 由 估计 信和 号 
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子 空间 杀 的 最 小 特征 值 ,和 估计 噪声 子 空间 内 的 最 大 特征 值 1, 之 间 的 间隔 决定 。 

若 r(p) «<1, BDA, > A,_, WU S FSIS MA A, 的 扰动 s 不 敏感 。 这 一 结果 
证 实 , 估 计 信 和 号 子 空间 接近 于 理想 信号 子 空间 Fw。 相反 ,车 r(p) 之 1, 即 和, 二 和 1, 则 估计 
信号 子 空间 宁 对 扰动 6 很 敏感 ;此 时 ,两 个 子 空间 之 间 相 互 接 近 是 值得 怀疑 的 。 

因此 ,可 将 秩 检测 过 程 用 公式 表示 为 

p= arg min r(p) (16.43) 

RHP r(p) 由 式 (16.42) 定 义 ,p 是 理想 矩阵 Rs 未 知 秩 的 估 值 。 
16.3.8 基于 SOS 的 子 空间 分 解法 小 结 

表 16.1 总 结 了 用 于 盲 信道 辨识 的 子 空间 分 解法 的 步 又。 该 表 突 出 了 该 方法 的 如 下 特 
性 : 

e 仅仅 信道 输出 的 二 阶 统计 量 (SOS) 用 在 计算 中 。 

9 该 方法 是 面向 批 (分 块 ) 处 理 的 。 

o 该 方法 的 计算 量 很 大 。 
EK 16.1 的 小 结 中 ,我 们 用 奇异 值 分 解 (SVD, 见 第 8 章 ) 计 算 相关 矩阵 估 值 R 的 特征 值 和 特 
征 向 量 。 应 用 于 数据 矩阵 A 的 SVD 过 程 已 被 证 明 ,其 数值 误差 比 时 间 平 均 相 关 和 矩阵 及 的 直接 
特征 分 析 要 小 。 

注意 ,第 6 步 中 ,在 |hll = 1 约束 条 件 下 最 小 化 名 (h) 等 效 于 寻找 矩阵 人 @ 的 极端 特征 向 量 。 
因此 ,有 关 使 用 数据 矩阵 A 奇异 值 分 解 而 不 是 和 托 阵 乘积 A4A 特征 分 解 的 这 一 优点 ,也 应 用 于 
第 6 步 。 这 样 做 ,我 们 能 够 计算 矩阵 

[Go, G,Gw_ 1] 
的 一 个 极端 左 奇异 向 量 ,而 不 是 矩阵 人 @ 的 极端 特征 向 量 。 
表 16.1 讶 信道 辨识 子 空间 分 解法 小 结 
1. 过 取样 信道 输出 ,通过 取 
pant + 1=0,1,...,L-—1 


来 实现 , 式 中 7 了 是 发 送 符 号 间隔 ,L 是 子 信道 数 ,由 此 定义 
ul) = uf nr + m) 
” L 


wf? = [uP uP unya] 


ua?) 
ul?) 
wn = : 
al 1) 


T 


w 


p 


LA 
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( 续 表 ) 


. 构造 Wx KK 数据 矩阵 


Al = [a Dy wg] 


其 中 W= LN K 是 用 在 育 信 道 辨识 中 的 数据 块 数 。 典 型 地 , W> 天 ,这 意味 着 矩阵 A 对 应 于 超 定 系统 。 


x 0 
H = 
U"AV E | 


IX = diag(o0,01,..., ow 1) 


而 如 和 VV 为 西 和 矩阵 ,其 列 分 别 是 数据 矩阵 的 左 、 右 奇异 向 量 。 参 数 o 的 大 小 排序 为 :oo eo) poy > 0, 它 们 是 
数据 矩阵 的 奇异 值 。 第 & 个 奇异 值 oi; AMR 


Ê = A'A 
的 第 个 特征 值 的 平方 根 ,其 中 我 们 忽略 了 比例 因子 K MER Y 的 列 是 矩阵 廊 的 特征 向 量 。 


. 计算 数据 矩阵 A 的 奇异 值 分 解 , 即 


其 中 





. 利用 秩 检 测 准则 
2 2 
op On-1 
r(p) = fa _ 202 如 果 ons 3 
1 其 他 
估计 理想 矩阵 Raew 的 秩 p 
P = arg minr(p) 
. 利用 第 4 步 确定 的 “有 效 秩 ”p ,将 数据 空间 分 为 


(a) 信号 子 空间 宁 ,对 此 有 


(b) 噪声 子 空间 片 ， 对 此 有 


现在 表示 和 矩阵 
名 人 aan Be ys 0 0 
an} 0 Bi Be yr Bev 0 
k 7 : . . 
0 0 ae o, By 
和 
GO 
. | êp 
G, = . k=0,1,..,W-p-1 
GED 
6. 计算 信道 脉冲 响应 向 量 h 的 估 值 ,这 通过 在 约束 条 件 上 all = 1 下 最 小 化 如 下 代价 函数 
g(h) = hb’ Qh 
来 实现 ,其 中 
W-p-1 、 ~ 
Q= > GGE 
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16.4 Bussgang 盲 均 衡 算法 


下 面 , 转 到 言 反 卷 积 的 第 二 种 方法 ,考虑 如 图 16.4 所 示 数 字 通 信 系统 的 基带 模型 。 该 模 
型 由 一 个 线性 通信 信道 和 一 个 盲 均衡 器 级 联 组 成 。 


u(n) : 
图 16.4 未 知 信道 和 盲 均衡 器 的 无 噪声 级 联 
如 前 ,信道 包括 发 送 滤波 器 、 传 输 媒质 和 接收 滤波 器 联合 作用 。 信 道 可 用 一 个 未 知 慢 时 变 
脉冲 响应 h 来 表征 。h 的 特性 (是 实 值 还 是 复 值 ) 由 所 采用 的 调制 类 型 来 决定 。 为 了 简化 讨 
论 , 在 本 节 假 设 脉冲 响应 是 实 值 的 ,对 应 于 使 用 多 级 脉 幅 调制 (M-ary PAM, multilevel pulse- 
amplitude modulation) 的 情况 。 于 是 ,可 用 卷 积 和 


u(n) = > hxtn — k) n = 0,+1,+2,... (16.44) 
天 一 一 oo 


oe x(n) 是 加 到 信道 输入 端的 数据 (信息 ) 序 列 ,u(n) 是 处 

结果 产生 的 信道 输出 。 在 这 个 盲 反 卷 积 的 初步 论述 中 ,图 16.4 中 接收 端 忽略 了 噪声 的 影 
m 这 种 噪声 忽略 已 被 证 明 是 合理 的 ,因为 数据 传输 (如 在 一 个 语音 级 电话 信道 上 传输 ) 性 能 
的 恶化 通常 是 由 信道 色散 引起 的 符号 间 干 扰 (ISD) 造 成 的 。 进 一 步 假设 


SR=1 
k 
它 意味 着 使 用 了 自动 增益 控制 (AGC automatic gain control) , 它 使 信道 输出 u(n) AT ERE 
本 不 变 。 一 般 来 说 ,信道 也 是 非 因 果 的 ,这 表明 
h,#0 对 于 n<0 
于 是 ,我 们 要 解决 的 问题 可 表述 如 下 ; 
假设 已 知 接 收 信号 (信道 输出 )u(n), 重 构 加 到 信道 输入 端的 原 数据 序列 x(n)。 
这 个 问题 可 以 等 效 地 重 述 如 下 : 
在 信道 输入 不 可 测 和 无 法 获得 期 望 响应 的 情况 下 ,设计 一 个 等 于 未 知 信道 之 遂 的 均衡 器 。 
为 了 求解 这 个 育 均 衡 问题 ,需要 规定 数据 序列 x (n) 的 概率 模型 。 为 此 ,做 如 下 假设 
(Bellini, 1986, 1994): 
1. 数据 序列 x(n) 是 白色 的 , 即 数 据 符号 是 均值 为 零 、 方 差 为 1 的 独立 同 分 布 (i.i.d.) 随 
机 变量 , 即 
E[x(n)] = 0 (16.45) 
和 


1 k=n 


Elx(n)x(k)] = t (16.46) 
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式 中 互 表 示 统 计 期 望 算 子 。 
2. 数据 符号 x(n) 的 概率 密度 函数 是 对 称 和 均匀 的 ( 见 图 16.5) 
fla) = [1273 -Vs x < V3 
0 其 他 
这 个 分 布 的 优点 是 该 分 布 独立 于 调制 过 程 中 所 用 的 幅度 级 数 M。 


注意 , 式 (16.45) 和 式 (16.46) 的 第 一 行 从 式 (16.47) 导 出 。 

由 于 假设 x(n) 的 分 布 是 对 称 的 ,如 图 16.5 所 示 , 故 知 整个 数据 序列 - x(n) 具 有 相同 于 
xs(z) 的 变化 规律 。 因 此 ,我们 无 法 区 分 期 望 的 逆 滤 波 器 8-![ 对 应 于 x(n)] 及 其 反 逆 滤波 器 
-LO TMF - *(z)]。 我 们 可 通过 初始 化 反 卷 积 算法 ,使 得 存在 一 个 带 有 期 望 代数 符 号 的 
非 零 单 抽 头 权 值 逆 滤 波 器 ,以 此 来 克服 符号 模糊 问题 。 这 也 能 够 通过 采用 信 源 信号 差分 编码 
无 害 地 实施 。 


(16.47) 


fx Œœ) 


-V3 0 -v3 
图 16.5 ”均匀 分 布 


16.4.1 和 迭代 反 卷 积 :目标 
S w; 表示 理想 道 滤波 器 的 脉冲 响应 , 则 它 与 信道 脉冲 响应 h; 之 间 的 关系 为 


È wihi = ô (16.48) 
式 中 8 是 Kronecker 6 PŽ 
1 1=0 
ô, = t #0 (16.49) 


以 这 种 方式 定义 的 道 滤 波 器 正确 地 重 构 了 发 送 的 数据 序列 x(n), 在 这 个 意义 上 说 该 滤波 器 是 
“理想 "的 。 所 以 , 它 是 理想 道 滤波 器 。 为 了 证 明 这 一 点 ,首先 写 出 


> wu(n 一 站 = > 之 好 hx 人 —i-k) (16.50) 
然后 ,在 式 (16.50) 中 ,做 上 = 7 -的 下 标 变换 ,并 改变 求 和 顺序 ,得 到 
>, wu(n -i)= È x(n 一 站 > wh; (16.51) 


ESL (16.48) FAF sh (16.51) ,并 利用 式 (16.49) 的 定义 ,可 得 
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Swuln — i) = X êx(n- l) 
i 7 


= x(n) 


(16.52) 


这 就 是 我 们 想 要 得 到 的 结果 。 

对 于 这 里 讨论 的 情况 ,脉冲 响应 h, 是 未 知 的 。 因 此 我 们 不 能 用 式 (16.48) 确 定 逆 滤 波 器 。 
代 之 ,我 们 用 选 代 反 卷 积 方法 求 出 由 脉冲 响应 w;(n) 表 征 的 近似 逆 滤 波 器 。 下 标 i 表示 近似 
逆 滤 波 器 横向 实现 的 抽 头 权 值 数 ,如 图 16.6 所 示 。n 表示 选 代 次 数 ,每 次 选 代 相应 于 传输 一 
个 符号 。 这 项 计算 以 下 述 方式 迭代 地 进行 :脉冲 响应 w(n) 与 接收 信号 uw(n) 卷 积 的 结果 完全 
或 部 分 地 消除 了 符号 间 干 扰 (Bellini, 1986)。 于 是 ,在 第 ”次 和 欠 代 ,得 到 一 个 近似 的 反 卷 积 序 
列 


L 
y(n) = È Ôi(n)u(n - i) (16.53) 


式 中 2L+1 是 截断 的 脉冲 响应 w,(n) 长 度 ( 见 图 16.6)。 图 中 假设 横向 滤波 器 (均衡 器 ) 关 于 中 
M i =O 对称 ,也 可 不 做 此 假设 。 





y(n) 


图 16.6 假定 用 实数 据 的 近似 逆 滤 波 器 的 横向 滤波 器 


理想 逆 滤 波 器 的 式 (16.52) 左 边 的 卷 积 和 是 一 个 无 限 求 和 式 , 因 为 下 标 i SPF - @ Bl o yi 
围 内 。 此 时 ,我 们 称 它 为 双 无 限 滤波 器 或 双 无 限 均 衡器 。 另 一 方面 ,属于 近似 道 滤波 器 的 式 
(16.53) 右 边 的 卷 积 和 是 一 个 有 限 求 和 式 ,因为 i 从 -LL 变 化 到 L。 我 们 将 这 后 一 种 滤波 器 称 为 
有 限 参 数 化 滤波 器 或 有 限 参 数 化 均衡 器 , 它 就 是 实际 中 常 遇 到 的 那 种 滤波 器 。 显 然 , 式 
(16.53) 可 改写 为 


y(n) = SY w(n)u(n—i) (ln) = 0 FI] > L 
或 等 效 地 表示 为 
y(n) = X wulan- i) + E [®(n) - wu(n — i) (16.54) 
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v(n) = S[w(n)- wlu(n- i) w=0 对 于 上 | > L (16.55) 


然后 ,利用 式 (16.52) 的 理想 结果 和 式 (16.55) 的 定义 ,可 将 式 (16.54) 简 化 为 
y(n) = x(n) + x(n) (16.56) 
式 中 >"(m) 叫 做 卷 积 队 声 , 它 表 示 使 用 近似 道 滤波 器 所 产生 的 残余 符号 间 干 扰 。 正 如 在 第 16.2 
节 所 指出 的 , 式 (16.56) 中 的 卷 积 品 声 " 不 要 与 第 16.2 节 所 用 的 信道 噪声 混为一谈 。 
下 面 , 逆 滤 波 咽 输出 y(n) 被 加 到 零 记 忆 非 线性 估计 器 上 ,从 而 产生 数据 符号 x(n) AA 
x(n)。 这 一 运算 画 在 图 16.7 的 讶 均衡 框图 中 。 于 是 ,可 以 写 出 
&(n) = g(y(n)) (16.57) 
SUP g 表示 某 个 非 线性 函数 ( 非 线性 估计 将 在 下 一 节 讨论 )。 


横向 滤波 器 零 记忆 非 
fhln) 线性 估计 器 g(*) 











图 16.7 AMHER 


通常 ,n 次 迭代 的 估 值 *(z) 是 不 够 可 靠 的。 不 过 ,我 们 能 够 以 一 种 自 适 应 的 方式 使 用 它 ， 
以 便 在 其 后 的 n+ 1 次 迭代 中 获得 较 好 的 估 值 。 实 际 上 ,有 各 种 可 用 来 完成 这 个 自 适应 参数 
估计 的 线性 自 适应 滤波 算法 (在 前 面 章节 中 讨论 过 )。 特 别 地 ,可 以 使 用 LMS 算 法 这 一 简单 有 
效 的 方案 。 为 了 用 它 解决 当前 的 问题 ,要 注意 以 下 几 点 : 


1 .次 迭代 (时 间 ) 中 横向 滤波 器 的 第 i 个 抽 头 输入 是 xz(m- i)o 
2. 将 非 线 性 估计 *(z) 当 做 期 望 响应 [因为 我 们 无 法 得 到 发 送 的 数据 符号 x(n)] ,并 注意 
到 相应 的 横向 滤波 器 的 输出 为 y(n), 可 将 迭代 反 卷 积 过 程 的 估计 误差 表示 为 
e(n) = x(n) — y(n) (16.58) 
3. n 次 迭代 中 第 i 个 抽 头 权 值 ww,(n) 代 表 参 数 估 计 的 “过 去 值 ”。 


因此 ,n+ 1 次 迄 代 中 第 ;个 抽 头 权 值 的 更 新 值 为 
h(n +1) = @(n) + pu(n—-de(n)  i=0,+41,..., 4L jk16.59) 

式 中 /是 步 长 参数 (注意 ,对 于 这 里 讨论 的 情况 ,所 有 的 数据 都 是 实数 据 )。 
(16.53), R15.57) (16.58) WM (16. ORTER ERETIERS 
Vio MOAT, SER OY RUC OEFA — EES ERRUER OEC, 
知 的 。 ey 
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产生 估计 误差 e(n) 的 思想 ,如 式 (16.57) 和 和 式 (16.58) 所 详 述 ,在 原理 上 类 似 于 自 适 应 均 
衡器 面向 判决 的 运行 模式 (本 节 后 面 还 将 对 这 个 问题 做 进一步 讨论 )。 


16.4.2 非 凸 代价 函数 


相应 于 抽 头 权 值 更 新 方程 (16.$9) 的 集 平均 代价 本 数 定义 为 
J(n) = E[e(n)| 
= E[(z(n) — y(n))] (16.60) 
| = E[(g(y(n)) — y(n))] 

式 中 y(n) 由 式 (16.53) 定 义 。 在 LMS 算法 中 ,代价 函数 是 抽 头 权 值 的 二 次 凸 函 数 ,因而 它 只 有 
一 个 极 小 点 。 相 反 , 式 (16.60) 的 代价 函数 J(n) 是 抽 头 权 值 的 非 凸 函数 。 这 表明 ,此 处 所 述 的 
迭代 反 卷 积 方法 的 误差 特性 曲面 除了 一 个 全 局 极 小 点 外 ,通常 还 有 多 个 局 部 极 小 点 。 可 能 存 
在 若干 个 全 局 极 小 点 ,对 应 于 在 所 选择 的 盲 反 卷 积 准则 下 得 到 若干 个 等 效 的 数据 序列 (例如 ， 
符号 上 的 模糊 )。 代 价 函数 J(n) 可 能 是 非 山 的 ,因为 作为 内 部 生成 “期 望 响应 ”的 估 值 x (n) 是 
由 线性 组 合 器 的 输出 y(n) 通 过 一 个 非 线 性 函数 产生 的 ,还 因为 y(n) 自 身 也 是 抽 头 权 值 的 
函数 。 

值得 注意 的 是 ,实际 实验 表明 多 数 (如 果 不 是 所 有 的 话 ) 盲 反 卷 积 准 则 是 多 模 的 ,由 此 呈现 
多 个 极 小 点 。 当 由 不 同 的 极 小 点 得 到 不 同 的 性 能 指标 时 ,使 用 这 个 准则 就 会 出 问题 。 在 这 类 
算法 中 ,逼近 哪 一 个 极 小 点 强烈 地 取决 于 初始 条 件 。 一 般 来 说 ,在 全 局 最 小 吸引 域内 搜索 初始 
值 的 过 程 仍 然 是 一 个 有 待 解 决 的 问题 。 然 而 ,正如 将 在 第 16.7 节 说 明 的 那样 ,也 会 出 现 这 个 
规律 的 某 些 例外 (本 节 的 后 面部 分 将 更 详细 地 讨论 算法 收敛 性 这 个 重要 问题 )。 


16.4.3 卷 积 噪 声 的 统计 特性 


加 性 卷 积 噪声 由 式 (16.55) 定 义 。 为 了 导出 更 好 的 v (n) 表 达 式 ,我 们 注意 到 该 式 右 边 求 和 
项 中 抽 头 输入 un - 1) AUK 16.44) | 


u(n — i) = È hx(n —i-k) (16.61) 
因此 ,可 将 式 (16.55) 改 写 为 双 求 和 表达 式 , 即 
v(n) = > > hiltoi(n) 一 w,\x(n -i-k) (16.62) 
现 设 
n-i-k=l 
则 式 (16.62) 可 改写 为 
p(n) = > x Y(n - 1) (16.63) 
式 中 
V(n) = Dil Buen) = Wp] (16.64) 


序列 y (mn) 是 一 系列 绝对 值 很 小 的 数 , 它 代表 因 不 理想 均衡 产生 的 残余 脉冲 响应 。 可 以 将 
V (n) 想 像 为 一 个 长 的 振荡 波 。 它 与 发 送 数 据 序列 x(n) BARE EAS ARS Ply (n), 如 式 
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(16.63) 所 示 的 。 
式 (16.63) 所 示 的 定义 是 卷 积 噪声 v (n) 统 计 特性 的 基础 。v(n) 的 均值 为 零 , 即 


E|v(n)] = z| 2x) Vn 一 n] 


= BS ven DE|] (16.65) 
=0 
在 式 中 最 后 一 行 ,已 经 利用 式 (16.45)。 其 次 ,对 于 延迟 j,v(n) 的 自 相 关 函 数 表 示 为 
Elv(n)v(n —))] = z| > (0) Vn ~H) x(m)V(n — m- | 
= X VVa-NVn -m — {El x(1)x(m)] (16.66) 


loom 


= DV(n-)V(n-1-j) 


I 


在 式 中 最 后 一 行 ,这 时 利用 了 式 (16.46)。 由 于 VvV(n) 是 一 条 长 的 振荡 波 , 故 仅 当 j=0 时 , 式 
(16.66) 右 边 的 和 式 才 不 等 于 零 , 因 此 


a(n) j=0 


Elv(n)v(n 一 万] = [o jz0 (16.67) 


AF 
o’(n) = > V(n — 1) (16.68) 


FETE (16.65) Ast (16.67) SER E , A DORE ARR (n) FAIR AT ES F oo” (n) HR (16.68) 
定义 ] 的 零 均 值 . 时 变 白 噪声 过 程 。 

根据 式 (16.63) 的 模型 , 卷 积 噪声 v(n) 是 代表 数据 符号 不 同 传输 的 独立 同 分 布 (i.i.d.) 随 
机 变量 的 加 权 和 。 因 此 ,如 果 残 余 脉 冲 响应 V(n) 足 够 长 , 则 根据 中 心 极 限定 理 可 知 ,v(n) 可 
用 高 斯 模型 表征 。 

独立 表征 卷 积 噪声 v(n) 后 , 剩 下 要 做 的 所 有 事情 是 计算 v (n) 和 数据 样本 x(n) 之 间 的 互 
相关 。 因 为 v(n) 是 残余 脉冲 响应 V(n) 与 x(n) 卷 积 后 得 到 的 结果 [如 式 (16.63) 所 示 ] ,因此 这 
两 个 随机 变量 之 间 一 定 是 彼此 相关 的 。 然 而 ,与 v(n) 的 方差 相 比 ,v(n) 与 x(n) 之 间 的 互相 关 
可 以 忽略 不 计 。 为 了 证 明 这 一 点 ,我 们 写 出 

Elx(n)v(n 一 站 一 本 zx 之 xOY 一 


= $ Vn - l — /pelx(n)x())] (16.69) 
l 


= V(-j) 
式 中 最 后 一 行 , 已 经 利用 式 (16.46)。 这 里 ,再 次 利用 VY (n) 是 一 个 长 的 振荡 波 这 一 假设 可 以 推 
断 ,与 互相 关 到 [xz(n)z(z -六 ] 的 幅 值 相 比 ,>(z) 的 方差 较 大 。 
因为 根据 假设 数据 序列 *(m) 是 白 噪 声 , 而 根据 上 述 推断 卷 积 噪 声 序列 "(m) 是 近似 白 噪 
声 ,而 且 这 两 个 序列 基本 上 是 不 相关 的 ,因此 它们 之 和 y(m) 也 是 白 噪 声 。 这 隐 含 着 x(n) 和 
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v(n) 基 本 上 是 相互 独立 的 。 因 此 ,可 把 卷 积 噪声 v (n ) 建 模 为 一 个 与 数据 序列 x(n) 统 计 独 立 
的 加 性 、 零 均值 高 斯 白 噪声 模型 。 

因为 在 推导 卷 积 噪声 模型 时 做 了 一 些 近似 处 理 , 因 此 在 应 用 它 进 行 和 迭代 解 卷 积 过 程 时 将 
得 到 数据 序列 的 一 个 次 优 估计 器 。 特 别 地 ,如 果 和 迭代 解 卷 积 过 程 是 收敛 的 , 则 该 过 程 后 期 阶段 
的 符号 间 干 扰 (ISI, intersymbol interference) 对 可 用 模型 来 说 将 足够 小 。 然 而 ,在 迭代 反 卷 积 过 
程 的 早期 阶段 ,JSI 通 常 很 大 ,结果 是 数据 序列 与 卷 积 品 声 是 强 相 关 的 ,而 且 卷 积 噪声 序列 的 分 
布 比 高 斯 噪声 更 均匀 (Godfrey & Rocca, 1981). 


16.4.4 数据 序列 的 零 记 忆 非 线性 估计 


现在 考虑 另 一 个 重要 问题 :给 定 横向 滤波 器 输出 端的 反 卷 积 序列 y(n), 佑 计数 据 序列 
x(n)。 特 别 地 ,我 们 可 表示 估计 问题 如 下 : 
已 知 一 个 (经 滤波 的 ) 观 测 值 y(n) 由 两 部 分 之 和 组 成 ( 见 图 16.8): 


1. 一 个 均值 为 零 、 方 差 为 1 的 均匀 分 布 数据 符号 x(n). 
2. 一 个 均值 为 零 、 方 差 为 (nha RARE), LEK x(n) 统 计 独 立 。 


要 求 导 出 一 个 统计 最 优化 的 x(m) 的 贝 叶 斯 估计 。 


在 着 手 讨 论 这 个 经 典 估计 问题 以 前 ,提出 了 两 个 值得 注意 的 问题 。 首 先 ,这 个 估计 本 质 上 
是 依赖 于 最 优 准 则 的 条 件 估计 。 其 次 ,尽管 这 个 估计 (理论 上 ) 是 均 方 误差 意义 上 的 最 优 估计 ， 
但 是 就 现在 情况 而 言 , 它 是 一 个 次 优 估计 。 因 为 在 推导 卷 积 噪声 v (nz) 模型 时 ,做 了 一 些 近 似 


处 理 。 
数据 符号 (z=) yin) 贝 叶 斯 估计 器 a(n) 
x(n) 


卷 积 噪声 
v(n) 





图 16.8 给 定 观 测 值 y(n) ,估计 数据 符号 x(n) 
一 个 特别 令 人 感 兴趣 的 最 优 准 则 是 最 小 化 实际 传送 数据 x(n) 与 估 值 x(n) 之 间 误 差 的 均 方 
值 。 这 个 最 优 准 则 的 选择 得 到 一 个 条 件 均值 估计 器 9 ,该 估计 器 既 灵 人 敏 ,又 可 靠 。 
为 了 表示 方便 起 见 ,我 们 隐 去 随机 变量 与 时 间 n 的 关系 。 因 此 ,给 定 观测 值 y ,随机 变量 
x 的 条 件 均值 估计 * 可 写 为 E[x1y]( 这 里 表示 数学 期 望 算 子 )。 令 f(x1y) 表 示 给 定 y 时 x 
的 条 件 概率 密度 函数 。 于 是 ,我 们 有 
x = Elx|y] 


= 人 pe (16:70) 


根据 贝 叶 斯 原则 ,有 


D 条 件 均值 估计 及 其 与 均 方 误差 估计 的 关系 的 推导 参见 附录 D。 
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_ fy(y|x)fx(x) 
fx(x|y) = Fy) (16.71) 
AP fy (ya) RAR AE x 时 y 的 条 件 概 率 密度 函数 ,f(x) 和 fy(y) 分 别 表示 x 和 y 的 概率 密 


度 函 数 。 因 此 , 式 (16.70) 可 改写 为 





z= ON J fy(y x)fx(x) dx (16.72) 
设 除了 一 个 加 性 噪声 v(n) 外 , 反 卷 积 序列 y(n) 是 原 数据 序列 x(n) 的 标 度 型 , 即 
y=cox+yv (16.73) 


式 中 比例 因子 co 略 小 于 1。 引 和 人 比例 因子 co 是 为 了 保持 均 方 值 E[y?] 恒 等 于 1。 由 前 面 导出 
的 卷 积 品 声 > 的 统计 模型 可 知 ,x 与 ?统计 独立 。 由 于 v 建 模 为 均值 为 零 . 方 差 为 oC HER, 
故 从 式 (16.73) 易 见 ,比例 因子 co 为 


o= Vi- (16.74) 
此 外 ,由 式 (16.73) 可 以 得 出 
fy(y|x) = fely — cox) (16.75) 
因此 ,将 式 (16.75) 代 入 式 (16.72) ,得 
t= Ko) | fy ~ cox fire) dx (16.76) 


* 的 计算 是 通俗 易 懂 的 ,但 却 很 乏味 宛 长 。 因 此 ,在 进行 计算 时 ,要 注意 以 下 几 点 : 


1. 贝 叶 斯 (条 件 均值 ) 估 计 器 输出 端 产 生 的 估 值 + (4) 的 数学 表达 式 取决 于 原 数据 符号 
x(n) 的 概率 密度 函数 。 为 了 分 析 ,假设 x 服从 均值 为 零 、 方 差 为 1 的 均匀 分 布 , 且 其 概 
率 密度 函数 由 式 (16.47) 定 义 。 为 了 方便 起 见 ,将 该 式 重 写 如 下 


fx(x) = We x< v3 (16.77) 
2. BARA RAS TEN o 的 高 斯 分 布 ,其 概率 密度 函数 为 
flv) = l- 5] (16.78) 
3. 经 滤波 的 观测 值 y 等 于 cox 与 "之 和 ,因此 其 概率 密度 函数 等 于 x 与 ?这 两 个 随机 变量 
HERT E RH SB 
frly) = f OZE — cox)dx (16.79) 


将 式 (16.77) 到 式 (16.79) 用 于 式 (16.76) ,得 到 (Bellini, 1988) 


A 1 o Z(y) 一 Z( y2) 
x Wy o O(n) 一 O(n) (16.80) 





式 中 变量 
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1 
yı =<ly + V3 cp) 


和 
1 
» =<ly — V3 co) 


函数 Z(y) 是 归 一 化 高 斯 概率 密度 函数 





Z(y) = Ee” (16.81) 
函数 0(y) 是 相应 的 概率 分 布 函数 
QAy) = Ge pew du (16.82) 
y 


需要 对 式 (16.80) 的 非 线 性 估计 器 做 微小 的 增益 修正 ,以 便当 和 迭代 反 卷 积 算法 [由 式 
(16.57) 到 式 (16.59) 所 述 ] 最 终 收 钙 时 ,获得 理想 均衡 O, 即 满足 y = x。 在 最 小 均 方 误差 条 件 
下 ,估计 误差 与 近似 道 滤波 器 横向 实现 中 的 每 个 抽 头 输入 正 交 。 把 所 有 这 些 放 在 一 起 ,我 们 发 
现 , 必 须 满足 如 下 条 件 (Bellini，1986，1988 ) 

Elxg(£)] = 1 (16.83) 


AF g(x) 是 理想 均衡 用 带 有 y = * 的 非 线性 估计 器 x = g(y)( 见 习题 7)。 

图 16.9 示 出 8 量化 级 PAM 系统 的 非 线 性 估计 器 x = g(y) 与 1zl 之 间 的 关系 曲线 (Bellini， 
1986，1988)。 该 估计 器 按照 式 (16.83) 进 行 了 归 一 化 。 图 中 ,考虑 了 三 种 广泛 差异 的 卷 积 噪声 
量 级 。 此 处 ,根据 式 (16.73) 我 们 注意 到 ,失真 与 含 噪 信号 (信和 号 加 失真 ) 的 比率 为 

El(y — 23 
= (1 
Ely’] ( 
= 2(1 一 co) 
对 于 式 中 最 后 一 行 ,我 们 已 经 利用 了 式 (16.74)。 图 中 曲线 对 应 于 三 个 不 同 的 比值 , 即 0.01, 
0.1 和 0.8。 由 这 三 条 曲线 可 看 出 如 下 几 点 : 
1. 当 卷 积 噪 声 低 时 , 讶 均衡 算法 允 近 于 最 小 均 方 误差 准则 。 
2. 当 卷 积 噪声 高 时 , 非 线 性 估计 器 似乎 与 调幅 数据 结构 好 坏 无 关 。 实 际 上 ,由 于 式 
(16.83) 所 定义 的 归 一 化 作用 ,不 同 的 调幅 值 只 会 产生 增益 值 的 微小 差别 。 这 表明 在 
多 量化 级 调制 系统 中 ,使 用 均匀 幅度 分 布 已 是 一 个 足够 好 的 近似 。 
3. 非 线性 估计 器 对 卷 积 噪声 方差 的 变化 具有 重 棒 性 。 





2 2 
C, + 
o) +o (16.84) 





O 一 般 来 说 ,对 于 理想 均衡 ,我 们 要 求 
y = (x — D)e” 
式 中 D 是 延迟 常数 ,$ 是 相 移 常数 。 这 个 条 件 对 应 于 一 个 具有 单位 幅 频 响应 和 线性 相位 响应 特性 的 均衡 器 。 因 为 
输入 数据 序列 x; 是 平稳 的 ,并 且 信道 是 线性 和 时 不 变 的 。 因 此 ,信道 输出 端的 观测 值 y(n) 也 是 平稳 的 ,而 且 其 概 
率 密度 函数 具有 不 随 延 迟 常数 上 变化 的 特性 。 当 输 和 序列 的 概率 密度 函数 在 旋转 下 仍 保 持 对 称 特 性 时 , 相 移 常 数 
是 无 关 紧 要 的 。 对 于 所 假设 的 式 (16.77) 中 的 密度 函数 ,情况 的 确 如 此 。 因 此 ,我 们 可 通过 要 求 y = x, 将 理想 均衡 
的 条 件 简化 。 
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4. 当 噪 声 与 含 品 信号 的 比率 很 高 时 (例如 ,0.8) ,用 双 曲 正切 函数 (Haykin,1996) 可 以 很 好 
地 近似 表示 图 16.9 所 示 的 输入 输出 特性 曲线 ,该 双 曲 正切 函数 为 


a a 
=a tann (“2”) (16.85) 
式 中 ,第 一 个 参数 为 
a, = 1,945 
而 第 二 个 参数 为 
CQ2 = 1.25 


注意 ,该 非 线 性 函数 的 起 始 部 分 的 斜率 与 a, 成 正比 。 


2 


xl 1 





图 16.9 在 高 斯 噪声 条 件 下 ,8 量化 级 PAM 数据 非 线 性 估计 器 x = gla) 
的 性 能 ,其 中 噪声 与 (信号 + 噪声 ) 之 比分 别 为 0.01.0.1 和 0.8 


16.4.5 收敛 性 考虑 


当 式 (16.57) ~ 式 (16.59) 描 述 的 迭代 反 卷 积 算法 在 均值 意义 上 收敛 时 ,我们 要 求 抽 头 权 
值 w,(n) 的 期 望 值 随 着 迭代 次 数 趋 于 无 穷 而 接近 某 个 常数 。 因 此 ,均值 收敛 的 条 件 可 表示 为 


Elu(n-i)y(n)]=Elu(n-i)g(y(m))] 4 nRBKAI=0, +1,...,4 LH 
在 该 式 两 边 同 时 乘 以 w,_, 并 对 i 求 和 ,得 到 


L L 
E| y(n) Danan 一 i | = E| s(n) È -ataula 一 J 4n 较 大 时 
(16.86) 
其 次 ,由 式 (16.53) 注 意 到 
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y(n 一 天 ) = È ein — k)ju(n —k — i) 


= Salman) HBK 
如 果 工 很 大 ,足以 使 横向 均衡 器 获得 理想 均衡 , 则 可 近似 写 出 
y(n- k) = 训 太 -k(n)u(n i) Hn LEKN (16.87) 
因此 ,我 们 可 利用 式 (16.87) 将 式 (16.86) 简 化 为 
Ely(n)y(n — k)] = Elg(y(n))y(n — k)] ” 当 n 和 工 较 大 时 (16.88) 
现 可 看 出 如 下 特性 :一 个 随机 过 程 被 认为 是 Bussgang 过 程 ,如 果 它 满足 如 下 条 件 
Ely(n)y(n — k)] = Ely(n)g(y(n — k))] (16.89) 


式 中 函数 g 是 一 个 零 记忆 非 线性 函数 了 ?。 换 名 话说 , Bussgang 过 程 具有 这 样 的 特性 : 自 相 关 函 
数 等 于 该 过 程 与 其 产生 的 零 记 忆 非 线性 系统 输出 之 间 的 互相 关 , 而 且 这 两 个 相关 是 对 相同 延 
迟 测 得 的 。 注 意 , Bussgang 过 程 满足 式 (16.89) 可 以 相差 一 个 乘 性 常数 ;但 在 此 处 ,这 个 药性 常 
数 等 于 1 ,因为 式 (16.83) 所 做 的 假设 。 

若 回 到 当前 的 问题 , 则 可 指出 ,只 要 工 较 大 ,图 16.7 零 记 忆 非 线性 函数 输入 的 过 程 y(n) 
可 近似 为 Bussgang 过 程 ; 而 且 工 越 大 ,近似 的 程度 就 越 好 。 由 于 这 个 原因 ,由 式 (16.57) 到 
(16.59) 描 述 的 盲 均衡 算法 称 为 Bussgang 算 法 (Bellini，1986，1988) 。 

一 般 来 说 , Bussgang 算法 的 收敛 性 是 难以 保 征 的 。 实 际 上 ,由 于 运行 在 有 限 长 OL SRF 
Bussgang 算法 的 代价 函数 是 非 凸 的 ,因此 有 许多 不 正确 的 极 小 点 。 

然而 ,在 双 无 限 均衡 器 的 理想 情况 下 ,Bussgang 算法 收敛 性 的 一 个 粗糙 证 明 可 大 致 叙述 如 
下 (Bellini,1988)L 其 证 明 依赖 于 Benveniste 等 (1980) 导 出 的 一 个 定理 ]2: 设 函数 (7y) 表 示 LMS 
算法 中 的 估计 误差 对 横向 滤波 器 输出 y(n ) 的 依赖 关系 ,根据 前 面 的 术语 , 则 有 [ 见 式 (16.57) 
和 式 (16.58)] 

p(y) = g(y) - y (16.90) 


Benveniste-Goursat-Ruget 定理 指出 ,如 果 数 据 序列 x(n) 的 概率 分 布 是 次 高 斯 分 布 , 且 W(y) 的 二 
阶 导数 在 [0, ©) ARTA, MAT PRUE Bussgang 算法 收敛 。 它 可 表述 如 下 : 
1. 如 果 一 个 分 布 的 峰 度 y 小 于 高 斯 分 布 的 峰 度 ,我 们 就 称 该 分 布 是 次 高 斯 分 布 的 。 根 
据 式 (16.2) 给 出 的 峰 度 的 定义 ,高 斯 分 布 的 峰 度 为 y% = 3。 例 如 , 当 v >2 时 ,随机 变量 
x 的 概率 密度 函数 
fx(x) = Ke KK 一 常数 (16.91) 





O 大 量 的 随机 过 程 属于 Bussgang 类 随机 过 程 。Bussgang 于 1952 年 首先 发 现 ,任何 相关 的 高 斯 过 程 都 具有 式 (16.89) 所 述 
特性 。 随 后 , Bamrett 和 Lampard(1995) 将 Bussgang 的 结果 推广 到 所 有 具有 指数 衰减 自 相 关 函 数 的 随机 过 程 。 这 些 过 程 
中 包含 了 一 个 独立 过 程 , 因 其 自 相 关 函 数 是 由 一 个 可 看 做 无 限 快 指数 衰减 的 8 函数 构成 的 。 

© 注意 : 式 (16.90) 中 定义 的 函数 几 (y) 是 Benveniste 等 (1980) 论 文中 定义 的 函数 取 负 。 
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是 一 个 次 高 斯 分 布 ;而 当 > 一 o 时 , 式 (16.91) 所 示 的 概率 密度 函数 就 退化 为 一 个 均匀 
分 布 函 数 。 此 时 ,车 选择 8 =V3, 则 有 E[x*] = 1。 于 是 , 式 (16.47) 所 假设 的 概率 模型 
满足 Benveniste-Goursat-Ruget 定理 的 第 一 部 分 。 

2. Bussgang 算法 也 满足 该 定理 的 第 二 部 分 ,这 是 因为 


— <0 当 0 < y< co (16.92) 


这 容易 通过 检查 图 16.9 的 曲线 或 式 (16.85) 而 得 到 证 实 。 


证 明 Bussgang 算法 收敛 性 时 所 用 的 Benveniste-Goursat-Ruget 定理 是 基于 双 无 限 均衡 器 假 
设 的 。 遗 憾 的 是 ,在 实际 中 这 一 假设 会 受到 破坏 ,因为 我 们 利用 了 有 限 参 数 化 均衡 器 。 至 今 ， 
人 们 已 经 知道 , 非 零 记 忆 非 线性 画 数 将 导致 图 16.7 的 盲 均衡 器 全 局 收 伍 到 未 知 信 道 之 道 
(Verdi, 1984; Johnson，1991)。 任 意 有 限 滤 波 器 长 度 的 Bussgang 算法 的 全 局 收 伍 性 仍然 是 一 
个 有 待 解 决 的 问题 。 不 过 ,有 实际 的 证 据 [ 它 为 Li 和 Ding(1995) 介 绍 的 收敛 性 分 析 结 果 所 支 
持 ] 可 以 推断 ,Bussgang 算法 将 收敛 到 所 期 望 的 全 局 极 小 点 ,如 果 横 向 滤波 器 足够 长 并 用 非 零 
值 中 心 抽 头 初 始 化 的 话 [例如 ,图 16.6 中 wo(0) =1]。 


16.4.6 面向 判决 的 算法 


当 Bussgang 算法 收敛 后 ,应 当 将 均 衔 器 平稳 切换 到 面向 判决 的 工作 模式 。 如 同 传统 的 
自 适应 均衡 器 一 样 ,我 们 要 对 这 类 均衡 器 中 横向 滤波 器 抽 头 权 值 的 最 小 均 方 误差 施加 控 
制 。 

图 16.10 介绍 了 一 个 工作 在 面向 判决 模式 的 均衡 器 框图 。 这 种 工作 模式 与 盲 均衡 模式 的 
惟一 不 同 在 于 使 用 了 零 记忆 非 线性 形式 的 函数 。 特 别 地 ,该 图 中 用 门限 判决 部 件 代 替 了 条 件 
均值 估计 。 给 定 观测 值 y(z)( 即 横向 滤波 器 输出 的 均衡 信号 ) ,门限 判决 部 件 利用 接近 于 
y(n) 的 发 送 数 据 序列 的 已 知 字 符 的 特殊 值 做 判决 。 于 是 ,可 以 写 出 


x(n) = dec(y(n)) (16.93) 


门限 判决 装置 






图 16.10 面向 判决 的 工作 模式 框图 


例如 ,在 等 概率 二 进 制 数 据 序列 的 简单 情况 下 ,数据 电 平 为 


_ f+ 对 信号 1 
x(n) = m 对 信号 0 (16.94) 
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而 判决 函数 是 
dec(y(n)) = sgn(y(n)) (16.95) 

式 中 sgn 表示 符号 函数 。 若 自 变 量 为 正 , 则 函数 值 为 +1; 若 自 变量 为 负 , 则 函数 为 - 1. 

除了 用 式 (16.93) 代 替 式 (16.57) 外 ,控制 面向 判决 算法 运行 的 方程 同 于 Bussgang 算法 。 
其 中 ,基于 Bussgang 算法 并 结合 面向 判决 算法 的 盲 均衡 器 的 实际 重要 性 在 于 : 它 的 实现 只 略 比 
传统 的 自 适 应 滤波 器 复杂 ,但 无 需 使 用 训练 序列 。 

假设 满足 以 下 条 件 ; 

1. 当 完 成 育 均 衡 时 , 眼 图 是 张 开 的 。[ 限 图 是 指 接 收 信号 不 同 实现 (每 个 实现 对 应 于 一 个 

发 送 符号 ) 时 同步 委 加 后 的 合成 图 案 ; 该 图 案 与 人 的 眼睛 相似 , 故 称 为 眼 图 。] 
2. 面向 判决 的 LMS 算法 中 使 用 的 步 长 参数 y 是 固定 不 变 的 。 
3. 用 向 量 u(n) 表 示 的 信道 输出 的 观测 序列 是 各 态 历 经 的 , 即 


N 
lim, Su(n)ul(n) > E[u(n)u"(n)] 几乎 确信 无 疑 (16.96) 
n=1 


则 在 这 些 条 件 下 ,面向 判决 算法 的 抽 头 权 向 量 在 均 方 误差 意义 上 收敛 到 最 优 ( 维 纳 ) 解 (Macchi 
& Eweda，1984)。 这 是 一 个 很 有 用 的 结果 , 它 使 面向 判决 的 算法 成 为 数字 通信 中 育 均 衡 
Bussgang 算法 的 一 个 重要 助手 。 


16.4.7 退火 过 程 | 

从 上 面 关 于 Bussgang 算法 的 讨论 可 以 看 出 ,需要 一 个 退火 过 程 ,以 便 随 着 均衡 一 步 一 步 的 
进行 ,均衡 器 能 够 借 此 对 不 同等 级 的 卷 积 噪声 进行 处 理 。 对 于 这 样 一 个 过 程 的 需要 ,可 从 考查 
图 16.9 中 三 个 不 同 的 噪声 与 噪声 加 信号 之 比 的 曲线 中 看 得 很 清楚 。 然 而 ,首先 不 难看 出 , 当 
噪声 电 平 高 时 , 双 曲 正切 函数 citanh( azy/2) 可 作为 图 16.7 的 盲 均衡 器 中 零 记 忆 软 非 线 性 函 
数 g 一 个 良好 的 逼近 器 。 退 火 过 程 的 主要 目的 是 为 了 在 保持 标 度 参数 a 不 变 的 同时 改变 斜 
率 参数 wm 。 考 虑 到 这 个 特殊 情况 ,现在 假设 此 处 所 述 的 三 阶段 退火 过 程 如 下 : 


1. 初始 化 阶段 ”分 别 对 标 度 参数 a; 和 斜率 参数 a, 赋予 一 个 指定 值 。 正 如 前 面 所 指出 
的 ,对 于 图 16.9 的 例 图 ,一 个 合适 的 选择 是 :a, =1.945 和 a, = 1.25。 

2. KEM ”从 图 16.9 可 以 看 出 , 当 噪 声 对 噪声 加 信号 比 从 0.8 BEB 0.1 时 ,斜率 参数 
a, 略 有 增加 。 然 而 ,在 这 样 的 噪声 与 含 噪 信和 号 比 的 大 幅 降低 能 够 达到 之 前 , 言 均 衡器 
要 经 过 大 量 的 迭代 。 因 此 ,在 退火 过 程 的 收敛 阶段 (可 能 占用 多 次 迭代 ) ,斜率 参数 a, 
逐渐 增加 直至 盲 均衡 器 进入 局 部 或 全 局 极 小 点 的 某 个 邻 域 。 

3. 面向 判决 阶段 ”一 旦 盲 均衡 器 收敛 且 其 眼 图 张 开 ,斜率 参数 a, 以 一 种 特定 方式 平滑 
地 增 大 , 即 在 少量 迭代 的 过 程 中 , 双 曲 正切 函数 逐步 变 为 其 极限 形式 (符号 函数 的 形 
式 )。 

因此 ,通过 加 入 一 个 退火 过 程 ,可 将 图 16.7 的 盲 均 衡器 结构 扩展 为 图 16.11 的 形式 。 事 

实 上 ,这 种 新 的 盲 均衡 器 的 结构 满足 了 图 16.10 所 示 的 面向 判决 工作 模式 的 要 求 。 
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退火 控制 器 : 
斜率 参数 
零 记 忆 软 非 线 性 : 
双 曲 正切 函数 










接收 信号 


u(n) 横向 滤波 器 
lòt) 






图 16.11 包含 退火 控制 器 的 扩展 盲 均衡 器 框图 


16.5 将 Bussgang 算法 推广 到 复 基 带 信道 


BS ,我 们 仅 对 M 进 制 PAM 系统 的 盲 均衡 讨论 了 Bussgang 算法 的 应 用 ,该 系统 是 由 实 基 
带 信道 表征 的 。 本 节 , 我 们 将 这 类 盲 均衡 算法 的 应 用 推广 到 正 交 幅度 调制 (QAM , quadrature- 
amplitude modulation) 系统 , 它 涉及 幅度 调制 和 相位 调制 的 混合 使 用 。 

在 信道 复 基 带 模型 的 情况 下 ,发 送信 号 x(n)、 信 道 脉冲 响应 h, 和 接收 信号 w(n) 都 是 复 
数 。 于 是 ,可 写 出 


x(n) = x(n) + jxo(n) (16.97) 
An = Ain + jhon (16.98) 

和 
u(n) = u(n) + jug(n) (16.99) 


式 中 下 标 了 和 0 分 别 表示 同 相 ( 实 ) 向 量 和 正 交 ( 虚 ) 分 量 。 因 此 ,给 定 横 向 滤波 器 输出 的 观测 
值 y(n) ,复数 据 x(n) 的 条 件 均值 估计 可 表示 为 
i(n) = E[x(n)|y(n)] 

= X,(n) + jXg(n) (16.100) 

= g(y(n)) + js(yo(n)) 
AP g 表示 零 记 忆 非 线性 函数 。 式 (16.100) 表 明 ,发 送 数据 序列 x(n) 的 同 相 和 正 交 分 量 可 通 
过 分 别 对 横向 滤波 器 输出 y(n) 的 同 相 和 正 交 分 量 进 行 估 计 。 然 而 ,要 注意 的 是 , 仅 当 同 相 和 
正 交 信道 发 送 的 数据 彼此 统计 独立 时 ,条 件 均 值 EF[x(n)1y(n)] 才 能 表示 成 式 (16.100) 的 形 
式 。 实 际 应 用 中 ,通常 就 是 这 种 情况 。 

显然 , 复 基带 信道 用 Bussgang 算法 包括 了 实 基带 信道 的 相应 算法 作为 特例 。 表 16.2 介绍 

了 用 于 复 基 带 信道 的 Bussgang 算法 的 一 个 总 结 。 
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表 16.2 复 基 带 信道 盲 均衡 的 Bussgang 算法 小 结 
初始 化 : 
ao- 人 
计算 :n=1,2,... 
y(n) = y(n) + jyo(n) 
= > oF (nyu(n - 


E(n) = X;(n) + jXg(n) 
= g{yi(n)) + jg(yo(n)) 
e(n) = x(n) 一 y(n) 
win +1) = w(n) + pu(n — ie*(n) i= 0,+1,...,4L 


i=41,...,4L 





16.6 Bussgang 算法 的 特例 


第 16.4 节 和 第 16.5 节 中 讨论 了 Bussgang 算法 的 一 般 形 式 , 它 包括 了 大 量 的 盲 均衡 算法 作 
为 特例 。 本 节 ,我 们 考虑 Bussgang 算法 的 两 个 特例 。 


16.6.1 Sato 算法 


M 进 制 PAM 系统 中 育 均 衡 算 法 的 构想 可 追溯 到 Sato(1975) 的 开创 性 工作 。Sato 的 算法 由 
如 下 代价 函数 
J(n) = Ellin) — y(n)}] (16.101) 
的 最 小 化 组 成 , 式 中 y(n) 是 由 式 (16.53) 定 义 的 横向 滤波 器 的 输出 ,x (n) 是 发 送 数 据 x(n) 的 
一 个 估 值 。 这 个 估计 由 零 记 忆 非 线性 方式 获得 , 即 


X(n) = a sgn[ y(n)| (16.102) 
常数 [eol 
_ El x(n) 

a= 可 xj (16.103) 


置 为 均衡 器 的 增益 。 很 明显 ,Sato 算法 是 Bussgang 算法 的 一 个 ( 非 最 优 ) 特 例 , 其 非 线性 函数 
gly ERA 
g(y) = asgn(y) (16.104) 

AP sen 表示 符号 函数 。 除 了 一 个 与 数据 有 关 的 增益 因子 a 外 , 式 (16.104) 中 定义 的 非 线性 
函数 类 似 于 与 二 进 制 PAM 用 面向 判决 算法 中 的 非 线性 函数 。 

BY @ Sato 算法 的 引入 最 初 是 为 了 处 理 一 维 多 电 平 (M 进 制 PAM) 信 和 号 ,其 目的 是 获得 比 
面向 判决 算法 更 好 的 鲁 棒 性 。 开 始 时 ,算法 通过 估计 信号 中 最 重要 比特 ,将 这 种 数据 信和 号 看 做 
二 进 制 信号 ,该 信号 的 其 余 比特 都 当做 育 均 衡 过 程 中 的 加 性 噪声 。 然 后 ,算法 利用 这 个 初步 步 
又 中 获得 的 结果 修正 由 常规 的 面向 判决 算法 获得 的 误差 信号 。 

即使 非 线性 函数 几 不 可 导 ,Sato 算法 也 满足 Benveniste-Goursat-Ruget 收 敏 定理 。 根 据 这 一 
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定理 ,能 够 获得 Sato FUE HY a COL HE , 只 要 发 送 数据 序列 的 概率 密度 函数 可 用 诸如 均匀 分 
布 之 类 的 次 高 斯 函数 近似 表示 (Benveniste et al.，1980) 。 然 而 ,Sato 算法 的 全 局 收敛 仅 在 双 无 
限 均 衡器 的 极限 情况 下 成 立 ?。 


16.6.2 Godard 算法 


Godard 于 1980 年 首次 提出 一 种 用 于 二 维 数字 通信 系统 (例如 , M 进 制 QAM 系统 ) 的 常数 
模 盲 均衡 算法 2。Godard 算法 要 最 小 化 如 下 代价 函数 


J(n) = E[(|y(n) - Ry) ] (16.105) 
AF p 是 一 个 正 整 数 , 且 
_ El|x(n)/’"] 
p= HEGI (16.106) 


是 一 个 正 的 实 常数 。Godard FART SR ART A Ah x(n) EROR E WR R, 
的 选择 要 使 得 获得 理想 均衡 即 x(n) = x(n) 时 ,代价 函数 J(n) 的 梯度 等 于 零 。 
均衡 器 的 抽 头 权 向 量 按照 随机 梯度 算法 自 适应 调节 (Godard,1980) , BB 


W(n + 1) = Wn) + uu(n)e*(n) (16.107) 
AP / 是 步 长 参数 ,u(n) 是 抽 头 输入 向 量 ,而 
e(n) = y(n)|y(n)|? (CR — |y(n)]’) (16.108) 


是 误差 信号 。 根 据 式 (16.105) 的 代价 函数 J(n) 的 定义 和 式 (16.108) 的 误差 信号 e(m) 的 定义 
可 见 ,按照 Godard 算法 的 均衡 器 自 适 应 不 需要 恢复 载波 相位 。 因 此 ,这 种 算法 收敛 很 慢 。 然 
而 ,其 优点 是 消除 了 ISI 均衡 与 载波 相位 恢复 问题 之 间 的 相互 影响 。 





人 们 特别 感 兴趣 的 Godard 算法 有 两 类 ; | 
情况 1(p=1) 此 时 , 式 (16.105) 的 代价 函数 退化 为 
J(n) = El(|y(n)| - RY] (16.109) 
ue [o] 
E| x(n 
R = 16.110 
E[|x(n)|] 





全 ”以 下 论文 给 出 了 双 无 限 均 衡器 的 极限 情况 下 Sato 算 法 的 推导 : 
。 在 Mazo( 1980) , Verda( 1984) Macchi 和 REweda(1985) 的 论文 中 业已 证 明 ,对 于 离散 QAM 输入 信和 号 Sato 算法 收敛 到 
局 部 极 小 点 。 
。 在 Ding 等 (1989) 论 文中 证 明了 ,对 于 有 限 参数 化 均衡 器 ,Sato 算法 在 处 理 次 高 斯 输入 信和 号 时 ,会 收敛 到 局 部 极 小 点 。 
© 研究 Godd 算法 的 最 初 目 的 ,是 为 了 消除 信道 均衡 和 载波 同步 (使 用 M 进 制 QAM 信号) 之 间 的 相互 影响 。 常 数 包 
络 调频 信号 用 常 模 数 算法 (CMA) ,作为 Godard 算法 的 一 个 特例 ,是 由 Treichler 和 Agee(1983) 命 名 的 ,并 在 独立 于 
Godard (1980》 论 文 的 情况 下 完成 的 。CMA 可 能 是 最 广泛 研究 的 盲 均衡 算法 ,也 是 实际 中 使 用 最 广泛 的 一 种 算法 。 
降低 言 均 衡器 计算 复杂 度 的 期 望 和 要 求 推动 了 对 修正 型 CMA 的 研究 : 
。 FRAN CMA, 其 中 误差 项 e( mn) 为 符号 函数 所 代替 。Schnitter 和 Johnson(1999) 利 用 抖动 的 谨慎 使 用 修正 符号 
误差 CMA, 由 此 得 到 一 个 十 分 像 原始 CMA 的 鲁 裕 性 算法 ; 它 以 增加 均 方 误 差 为 代价 获得 计算 复杂 度 的 降低 ( 细 
节 见 习题 10)。 
。 CMA 中 误差 项 的 基于 区 域 的 量化 , 它 能 够 用 查 表 法 实现 ,以 代替 耗费 的 飞 法 器 和 加 法 器 (Endres et al., 2001). 
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情况 可 以 看 做 是 修正 的 Sato 算法 。 
情况 2 (p=2) 此 时 , 式 (16.105) 的 代价 函数 退化 为 
J(n) = E[(|ly(n)F - R,)] (16.111) 
式 中 
E|x(”)"] 
h= Blf] 
情况 2 在 一 些 文献 中 称 为 常 模 数 算法 (CMA, constant-modulus algorithm) 。 


Godard 算法 被 认为 是 Godard 族 盲 均衡 算法 中 最 成 功 的 一 种 算法 ,正如 Shynk 等 (1991) 和 
Jablon(1992) 报 道 的 比较 研究 所 证 明 。 这 可 说 明 如 下 : 


© 就 载波 相位 补偿 而 言 ,Godard 算法 比 其 他 Bussgang 算 法 更 具 鲁 棒 性 。 该 算法 的 这 个 重要 
特性 是 由 于 推导 中 使 用 的 代价 函数 仅 以 接收 信号 的 幅度 为 基础 。 

© 在 稳 态 条 件 下 ,Godard 算法 得 到 的 均 方 误差 小 于 其 他 Bussgang 算法 的 均 方 误差 。 

© 最 后 ,但 并 意味 着 最 不 重要 , Godard 算法 通常 能 够 均衡 色散 信道 ,使 得 在 各 种 实际 应 用 
中 ,开始 时 眼 图 闭合 ,而 当 均 衡 后 , 眼 图 张 开 。 


16.6.3 特殊 形式 的 复数 Bussgang 算法 小 结 


面向 判决 算法 、Sato 算法 、 常 模 数 算法 和 Godard 算法 都 可 以 看 做 是 复 Bussgang 算法 的 特例 
(Bellini，1986)。 特 别 地 ,对 于 这 些 算法 中 零 记 忆 非 线性 函数 g 的 特殊 形式 ,可 由 式 (16.93)、 
式 (16.102) 和 式 (16.108) 得 出 , 示 于 表 16.3(Hatzinakos,1990) 。 面 向 判决 算法 和 Sato 算法 中 的 
各 项 都 可 以 直接 从 定义 得 到 , 即 


(16.112) 


a(n) = g(y(n)) 
在 Godard 算法 的 情况 下 ,我 们 注意 到 
e(n) =x(n)- y(n) 
或 等 效 地 ,有 
g(y(n)) = y(n) + e(n) 
因此 ,我 们 可 用 后 一 个 关系 式 和 式 (16.108) 导 出 表 16.3 中 复 Bussgang 算法 的 各 种 特殊 形式 。 
表 16.3 复数 Bussgang 算法 的 特例 











算法 零 记 忆 非 线性 函数 g 定义 
面向 判决 算法 * sgn 一 
_ Elx(n)] 
Sato 算数 法 asen a= Eala] 
恒 模 数 算法 y(n) (1 + R- Ly(n) I?) R= Aisi 
(n) -1 2p-1 _ Ella(n)1??J 
Godard 算法 TT OTD + Ry ly) I? -iy(a) D R= lal 


RE FAAR ELE AURA RE PS AER ER sgn; 对 于 M 进 制 PAM, 则 需要 一 个 MM 进 制 限 
幅 器 。 
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16.7 分 数 间 隔 Bussgang 均衡 器 


在 本 节 ,我 们 将 本 章 的 两 个 主题 [基于 二 阶 统计 量 (SOS) 的 算法 和 依赖 高 阶 统计 量 (HOS) 
的 Bussgang 算法 ] 结 合 在 一 起 ,以 完成 盲 反 卷 积 算法 的 研究 。 为 此 ,强调 循环 平稳 性 与 SOS 算 
法 和 Bussgang 算法 都 有 关系 。 

按照 第 16.2 节 介 绍 的 内 容 ,我 们 可 以 说 ,过 抽样 、 分 数 间隔 和 周期 平稳 在 基于 SOS 的 反 卷 
积 算法 中 的 重要 性 现在 已 经 完全 确立 。 第 16.3 节 中 讨论 的 相同 信道 的 不 等 性 条 件 和 小波 矩 
阵 秩 条 件 也 能 方便 地 用 于 第 16.4 节 和 第 16.5 节 中 讨论 的 Bussgang 算法 。 这 个 重要 结果 
也 出 现在 Li & Ding(1996) 的 研究 中 。 他 们 证 明了 Godard 算法 的 所 有 极 小 点 在 单 输入 多 输出 
信道 设置 (结合 多 输入 单 输出 均衡 器 ) 下 获得 理想 的 信道 均衡 ;其 前 提 是 采用 几乎 相同 于 滤波 
矩阵 秩 定理 的 条 件 ,只 要 对 定理 的 条 件 3 略 做 修改 :N 的 大 小 现在 代表 均衡 器 每 个 分 支 系数 的 
个 数 。 这 与 单 输入 单 输出 信道 (从 而 单 输入 单 输出 均衡 器 ) 所 涉及 的 情况 形成 了 鲜明 的 对 照 ， 
因为 在 单 输入 单 输出 情况 下 ,由 常 模 数 准 则 导出 的 多 个 极 小 点 通常 给 出 无 法 与 之 相 比 的 性 能 
水 平 。 

Li 和 Ding(1996) 提 出 一 种 灵巧 的 证 明 方 法 , 它 一 开始 就 不 像 Benveniste-Goursat-Ruget 定 
理 的 证 明 ,尽管 某 些 相 切 点 已 为 众人 所 知 。 该 定理 假设 了 一 个 双 无 限 均 衡器 ,并 假设 信道 转移 
函数 在 单位 圆 内 无 零点 。 用 | 表示 均衡 器 的 抽 头 权 值 ,信道 -均衡 器 组 合 响应 即 总 响应 
为 

{cx} = {h} {we} 

TOP ARS“ « ”表示 卷 积 。 若 js 是 双 无 限 长 的 , 则 | c, | EE CER AK BY ; SR RS RR H(z) 
在 单位 圆 内 无 零点 ,只 要 合理 设置 均衡 器 的 抽 头 权 值 , 就 可 以 得 到 任意 形状 的 总 响应 | c1。 
SRM AT tw, | 是 有 限 长 序列 , 则 丈 (z) 是 一 有 限 长 滤波 器 , 且 有 H(z) 的 任何 零点 保留 在 组 合 转 
移 函 数 中 ;这 种 信道 -均衡 器 的 总 响应 显然 要 受到 约束 , 即 在 H(z) 的 零点 处 ,其 z 变换 消 
失 。 

现在 ,将 E n) EAR RR, HPY Ca) 由 式 (16.90) 定 义 , 信 道 -均衡 器 总 响应 空间 
的 稳定 点 就 是 如 下 系统 的 解 , 即 

dE[y?(n)] 
de, 

ARDY PRCA RAAB EY BB ES, ERE Wh HE, kh) TCR Ae” ELD (n) | (desde, ) HB 
Ani TERECE Hessian 矩阵 ) 是 正定 或 半 正 定 的 。 对 于 “正确 ”选择 的 非 线 性 函数 g(. ) 和 合适 的 
信和 号 统计 特性 ,可 以 由 所 有 这 些 解 得 到 理想 的 总 响应 , 即 该 响应 有 惟一 的 非 零 项 [例如 ,参见 
Benveniste 等 (1980) 和 Godard(1980) 的 论文 ]。 

然而 ,这 种 分 析 方 法 不 能 用 于 有 限 均衡 器 的 情况 ,因为 它 忽略 了 总 响应 中 含有 若干 个 信道 
零点 作为 因子 这 一 约束 。 特 别 地 ,均衡 器 的 有 限 长 度 约束 有 可 能 妨碍 我 们 得 到 任何 理想 的 总 
响应 。 

双 无 限 均衡 器 (与 一 个 在 单位 圆 内 无 零点 的 信道 相 结 合 ) 是 一 个 例外 ,因为 此 时 可 获得 任 
意 形状 的 总 响应 ,也 包含 理想 均衡 器 的 总 响应 。 因 此 ,均衡 器 系数 空间 与 总 响应 空间 的 描述 是 


=0 对 所 有 (16.113) 


576 自 适 应 滤波 器 原理 


等 效 的 。 形 式 上 ,对 于 这 种 情况 可 以 证 明 (Benveniste et al. ，1980) ,总 响应 空间 的 任 一 个 稳定 
点 产生 均衡 器 空间 的 一 个 稳定 点 (或 者 可 能 是 一 个 稳定 “复式 接头 (manifold)”) , 而且 每 个 稳定 
点 作为 极 小 点 或 鞍点 的 特性 保持 不 变 。( 在 一 个 鞍点 的 情况 下 ,走向 鞍点 的 轨迹 是 稳定 的 ,而 
离开 鞍点 的 轨迹 是 不 稳定 的 。) 

这 里 描述 的 良好 状态 可 转移 到 有 限 长 均衡 器 的 情况 ,只 要 将 单 输入 多 输出 信道 与 多 输入 
单 输出 均衡 器 相 结合 使 用 即 可 。 这 个 特殊 的 结合 可 得 到 类 似 于 图 16.2 的 信号 流 图 ,此 时 图 中 
每 个 信道 输出 P 被 送 到 具有 抽 头 权 值 1 名 1 的 横向 滤波 器 ,再 对 工 个 滤波 器 的 输出 求 和 。 
将 第 1 个 均衡 器 的 抽 头 权 向 量 表示 为 


wo = [wh ,wd,..., wo l=0,1,..., L-1 (16.114) 
则 信道 均衡 器 总 响应 为 二 个 均衡 器 响应 之 和 , 即 
c= [co， Cl1，-…-， cwsw_i 
16.11 
= H'w (16-115) 
式 中 
go 
(1) 
H = H 
HD 
和 
wO 
wit) 
W= : 
wld) 


式 (16.115) 的 总 响应 中 涉及 与 式 (16.15) 相 同 的 信道 卷 积 矩阵 太 。 若 满足 滤波 矩阵 秩 定理 的 
条 件 (这 里 ,N 是 每 个 均衡 器 的 长 度 ) , 则 711 是 一 个 秩 为 M+ N 的 列 满 秩 和 矩阵。 此 时 ,只 要 选择 
适当 的 均衡 器 系数 , 即 可 得 到 任意 形状 的 信道 均衡 器 总 响应 向 量 c( 包 含 M+ NN 个 元 素 )。 计 
算 均 衡器 空间 中 极 小 点 的 问题 就 变 为 计算 总 响应 空间 中 极 小 点 的 问题 。 若 满足 Benveniste- 
Goursat-Ruget 定 理 中 其 余 条 件 , 则 在 没有 信道 噪声 的 情况 下 , 则 所 有 Bussgang 极 小 点 得 到 理想 
的 均衡 器 。 故 可 看 出 ,除了 对 基于 SOS 的 盲 反 卷 积 算法 特别 感 兴趣 外 , 循环 平稳 性 和 有 关 概 
念 也 对 保持 Bussgang 算 法 的 性 能 优势 起 重要 作用 。 特 别 应 该 指出 ,使 用 分 数 间隔 Bussgang 算 法 
的 理想 盲 均 衡 性 条 件 如 下 : 





(5 随机 梯度 下 降 自 适应 算法 的 收敛 性 分 析 相 当 于 研究 算法 的 稳定 平衡 点 , 即 局 部 或 全 局 极 小 点 。 因 为 信道 卷 积 矩阵 
有 一 个 非 平凡 的 零 空间 , 故 算法 的 平衡 点 可 分 为 ; 
。 与 信道 有 关 的 平衡 点 (CDE) 
。 与 算法 有 关 的 平衡 点 (ADE) 
的 零 空 间 受 到 由 过 抽样 产生 的 信道 分 集 的 影响 。Ding(1997) 证 明了 ,分 数 间隔 均衡 器 (FSE) 的 收敛 特性 仅 由 ADE 
决定 ,只 要 信道 卷 积 和 矩 阵 扩 是 列 满 秩 矩阵。 这 个 列 满 秩 条 件 等 效 于 ; (1) 要 求 所 有 的 子 信道 无 共同 的 零点 ;(2)? 足 
够 大 ,这 个 条 件 也 称 为 长 度 和 零点 条 件 。 特 别 地 ,使 用 诸如 Godard 算 法 (Godard,1980) 和 Shalvi-Weinstein 算 法 (Shalvi & 
Weinstein，1990) 之 类 的 盲 解 卷 算法 的 FSE 可 以 全 局 收敛 到 期 望 的 平衡 点 。 l 


第 16 章 BRER 577 


1. 信道 卷 积 矩阵 世 是 列 满 秩 和 矩阵 。 

2. 信道 是 无 噪声 的 。 

3. 发 送信 号 ( 即 信 道 输入 ) 由 循环 对 称 的 独立 同 分 布 (i.i.d.) 复 值 符 导 组 成 。 

4. 发 送信 号 的 基本 概率 分 布 为 次 高 斯 分 布 , 它 意味 着 其 峰 度 小 于 高 斯 分 布 的 峰 度 。 


条 件 1 和 条 件 2 属于 信道 -均衡 器 合成 ,而 条 件 3 和 条 件 4 属 于 发 送信 号 。 然 而 ,在 实际 应 用 中 
信道 总 是 有 噪声 的 。 只 要 信道 噪声 是 白 噪声 且 相 对 较 小 ( 即 接收 信和 号 的 信 噪 比 高 时 ) , 言 均衡 
器 的 极 小 点 就 会 有 扰动 ,但 是 它 仍 在 无 噪 信道 理想 极 小 点 邻 域内 (Li & Ding, 1996). 
16.7.1 计算 机 实验 

在 这 项 计算 机 实验 中 四 ,我 们 讨论 一 个 4 抽 头 信道 模型 和 2 抽 头 均衡 器 。 二 者 都 是 7/2 间 
隔 的 ,这 里 7 是 符号 周期 。 实 验 中 使 用 2 x2 的 信道 矩阵 为 


mT mol to o2) 
这 个 矩阵 是 可 逆 的 ,这 表明 偶 多 项 式 
H(z) = hy + yz 
和 奇 多 项 式 
H,(z) = hy + hz” 


具有 不 同 的 根 。 因 此 ,转移 函数 H(z) 在 单位 图 内 没有 零点 。 
设 讶 均衡 器 抽 头 权 向 量 表示 为 
v- [a] 
w 


则 在 含 噪 信道 的 一 般 情 况 下 ,分数 间隔 Bussgang 均衡 器 的 代价 函数 定义 为 (Jonnson et al., 
2000) 


1 3 
JW) = Filz — IIT wid + F ilw 


1 3 
+7 Ono,» — 3)\\ wil + g lwl 


HIHAT W- 5 otr (oT Tw + olw) 


t ot, (16.116) 

式 中 co: My ,分 别 为 零 均值 发 送信 号 的 方差 和 峰 度 ,oz My, ,分 别 是 零 均 值 加 性 白 信 道 噪声 
的 方差 和 峰 度 。 向 量 x FAP x, 和 x, WL 范 数 定义 为 

jh = (Ot +x) k=2,4 (16.117) 





O 这 项 计算 机 实验 基于 Johnson 等 (2000) 的 研究 。 该 参考 文献 详细 研究 了 分 数 间隔 Bussgang 算 法 。 
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图 16.12 画 出 了 代价 函数 J(w) 关 于 抽 头 权 值 we 和 w 的 三 维 曲 面 图 。 对 于 具有 iid. 
符号 、 峰 度 y, = 1 的 二 进 制 相 移 键 控 形式 的 发 送信 号 和 无 品 信 道 , 该 图 可 由 式 (16.116) 算 出 。 
图 16.13 显示 出 改变 代价 函数 值 7 时 相应 的 抽 头 权 值 w 对 抽 头 权 值 w。 的 等 高 线 。 这 两 幅 图 
清楚 地 显示 出 ,代价 函数 的 4 个 极 小 点 实际 上 都 是 全 局 极 小 点 ,因此 每 个 极 小 点 都 可 以 获得 理 
想 均衡 。 





一 4 Taa 
图 16.12 假设 信道 中 无 噪声 时 ,代价 函数 J wo, w ) 对 抽 头 权 值 wo 和 wi 的 三 维 曲面 


. 图 16.14 说 明了 非 零 信 道 噪 声 对 言 均衡 器 等 高 线 的 影响 。 该 图 是 在 信 品 比 为 20 dB 下 绘 出 
的 ,这 里 信 噪 比 定义 为 


o 
SNR = 10 logso( 2) dB 
on 


比较 图 16.13 与 图 16.14 的 等 高 线 可 以 发 现 ,信道 噪声 会 引起 误差 特性 曲面 形状 的 变动 ,结果 
是 代价 函数 J(w) 的 极 小 点 现在 是 局 部 极 小 点 ,而 不 是 全 局 极 小 点 。 换 句 话 说 , 当 有 信道 噪声 
时 ,代价 函数 的 不 同 极 小 点 不 再 导致 相同 等 级 的 均衡 器 特性 。 
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Wo 


16.13 ”无 品 信 道中 的 等 高 线 图 (每 一 条 等 高 线 表 示 ,当代 价 函 数 
IC Wo , 201 ) 取 某 个 特定 值 时 抽 头 权 值 Wo 和 w 之 间 的 关系 ) 





Wwo 


图 16.14 含 品 信 道中 的 等 高 线 图 (每 一 条 等 高 线 表示 当代 价 函 数 J(wo , w ) 取 某 个 
特定 值 时 抽 头 权 值 w。 和 wy 之 间 的 关系 ;计算 时 所 用 的 信 品 比 为 20 dB) 
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16.8 本 章 小 结 


盲 反 卷 积 是 无 监督 学 习 的 一 个 例子 。 在 这 个 意义 上 , 它 无 需 训练 序列 ( 即 期 望 相应 ) 即 可 
辨识 一 个 未 知 线性 时 不 变 (可 能 非 最 小 相位 ) 系 统 之 逆 。 这 个 运算 要 求 辨识 系统 转移 函数 的 幅 
度 和 相位 。 为 了 辨识 幅度 分 量 , 我 们 仅 需 接收 信号 ( 即 系 统 输 出 ) 的 二 阶 统计 量 。 但 是 ,辨识 系 
统 的 相位 分 量 要 困难 得 多 。 

一 类 反 卷 积 方法 依赖 于 二 阶 统计 量 (SOS) , 它 通过 利用 表征 通信 信道 输出 的 循环 平稳 性 
来 弥补 缺乏 期 望 响应 的 不 足 。 本 章 中 已 经 证 明 , 仅 依靠 接收 信和 号 的 循环 平稳 性 的 确 可 以 辨识 
未 知 的 线性 信道 ,正如 第 16.3 节 中 子 空间 分 解法 所 证 明 的 。 这 实际 上 是 信道 盲 均衡 技术 的 一 
个 重要 突破 。 

讶 信道 辨识 用 基于 SOS 的 子 空间 分 解法 依赖 于 批 (分 块 ) 处 理 实现 。 因 此 它 提供 了 快速 
捕获 ,这 使 得 它 对 于 高 度 非 平稳 环境 (例如 无 线 通 信 ) 的 应 用 特别 有 吸引 力 。 然 而 ,这 一 重要 优 
点 是 以 计算 复杂 度 大 量 增加 为 代价 的 。 由 于 计算 机 技术 的 日 益 进步 ,这 或 许 不 会 成 为 一 个 严 
重 的 实际 应 用 问题 。 

这 里 讨论 的 另 一 类 盲 反 卷 积 法 , 即 Bussgang 算法 ,依赖 于 以 一 种 隐 含 的 方式 使 用 高 阶 统 计 
量 来 弥补 无 法 获得 期 望 响 应 的 不 足 。 这 种 盲 反 卷 积 形式 强制 使 用 非 线 性 处 理 。 最 重要 的 是 ， 
这 个 方法 能 处 理 非 高 斯 的 接收 信和 号。 

Bussgang 算法 通过 使 接收 信号 服从 于 迭代 反 卷 积 过 程 来 进行 线性 信道 的 盲 均衡 。 当 该 算 
法 以 均值 方式 收敛 时 , 反 卷 积 序 列 服从 Bussgang 统 计 , 故 将 它 命名 为 Bussgang 算 法 。Bussgang 算 
法 有 如 下 特性 : 


e 非 凸 代价 函数 的 最 小 化 ,因此 可 能 陷 人 局 部 最 小 。 

o 低 计 算 复 杂 度 ,但 略 高 于 需要 训练 序列 的 传统 自 适应 均衡 器 的 计算 复杂 度 。 

o 相对 慢 的 收敛 速率 。 

从 某 种 意义 上 说 ,基于 SOS 的 子 空间 分 解法 和 基于 隐 式 HOS 的 Bussgang 算法 族 是 互补 
的 ;而 且 在 设计 分 数 间隔 Bussgang 均 衡器 中 ,常常 将 这 两 个 方法 结合 在 一 起 。 


16.9 习题 


1. 在 本 题 中 ,我们 探讨 利用 循环 平稳 性 提取 未 知 信道 相位 响应 的 可 能 性 。 
(a) 将 式 (16.3) 用 于 脉冲 响应 A, 的 线性 通信 信道 输出 端的 接收 信号 u(t), 并 引用 第 16.3 
节 中 对 发 送信 号 x, 和 信道 噪声 rv (1) 所 做 的 假设 , 试 证 明 uG) t 和 ss 两 个 时 刻 的 自 
相关 函数 为 
rti, te) = Eļu(tju*(t)] 


= > E rdkT - IT)h(t, — kT)h*(n — IT) + 038(t, — t) 
大 = 一 oo 1=—00 


式 中 r, (kT) FEREIR DW AT 的 发 送信 号 的 自 相关 函数 ,oz 是 噪声 方差 ;证 明 w(t) 是 广义 
循环 平稳 的 。 
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(b) 循环 自 相 关 函 数 和 循环 平稳 过 程 u(1) 的 谱 密度 分 别 用 连续 时 间 形 式 的 式 (1.163) 和 式 
《1.167) 来 定义 , 即 


1 T/2 
re(7) = al nl + x 一 z) exp(j2rat)dt 


-T/2 
和 
Se(w) = [on exp(—j2nf7)de, w = 2nf 
式 中 
k 
T k =0,+1,+2,... 
令 亚 ,(w) 表 示 SET (w) BIHER ,而 @B(w) 表 示 信 道 的 相位 响应 , 试 证 明 


kr kn 
Pdo) = e(o + 2) - (0 -) k = 0,+1,+2,... 


(ce) OY, (1) A gr) 分 别 表 示 时;(w) 和 Ow) WROTE Re, AAA (b) PR , WEA 





bit) = 2497) sin| a) k = 0,+1,+2,... 


FIX THA [ KEM , (zr) 提 取 相 位 响应 B(w) 的 可 能 性 ], 可 以 得 出 什么 结论 ? 

2. 假设 利用 第 16.3 节 所 述 子 空间 分 解法 估计 式 (16.15) 定 义 的 SIMO 模型 的 信道 卷 积 矩 阵 7 。 
试 证 明 在 无 噪声 的 条 件 下 ,理想 均衡 可 通过 利用 其 滤波 矩阵 由 Xt 的 伪 逆 定义 的 多 信道 结构 
来 获得 。 

3. 利用 信道 卷 积 矩 阵 开 的 定义 以 及 与 噪声 空间 NM 有关 的 特征 向 量 gi ,导出 式 (16.37) 的 结果 。 

4, 线性 预测 的 应 用 为 其 他 育 辨识 方法 提供 了 基础 。 这 些 方法 的 基本 思想 归结 为 广义 (Bezout) 
恒等式 (Kailath,1980)。 定 义 Lx 1 多项式 列 向 量 

H(z) = (H(z), Hz), ,HED 


RP H(z) 是 第 1 个 子 信道 的 转移 函数 。 在 开 (z) 不 可 约 的 条 件 下 ,由 广义 Bezout 恒等式 
可 知 ,存在 一 个 1x 工 多 项 式 行 向 量 
G(z) = [G(z), GM), ..., EF M(z)] 
使 得 
G(z)jH(z) = 1 

Bp 

L-1 

SG R)HO(z) = 1 

-1=0 


这 个 等 式 的 含义 是 :按照 白 噪声 过 程 v (n) 由 y(n) = H(z)[v(n)] 描 述 的 一 组 滑动 平均 过 
程 , 亦 可 用 一 个 有 限 阶 的 自 回归 过 程 表示 。 此 外 ,考虑 无 品 信 道 的 理想 情况 ,这 时 篇 1 个 子 
信道 的 接收 信号 定义 为 


48 
ul) = Shanon 1=0,1,...,L-1 


式 中 x, 是 发 送 的 符号 ,At 是 第 ! 个 子 信道 的 脉冲 响应 。 斌 利用 广义 Bezout HERES) 


z cm, 
Pag 
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L-1 . 
> G%(z)[uP] = x, 
1=0 


由 此 证 明 *, 被 精确 再 生 [注意 :上 式 中 642(z) 看 做 是 一 个 算 子 ]; 并 根据 线性 预测 理论 ,说 
明 这 个 结果 。 

5, 参考 图 16.8, 图 中 采用 了 零 记 忆 非 线性 函数 g。 假 设 卷 积 噪 声 > 是 加 性 白 高 斯 的 , 且 统 计 独 
立 于 数据 x , 式 (16.80) 定 义 了 数据 x 的 条 件 均 值 估计 。 试 推导 这 个 公式 。 

6. 对 于 理想 均衡 ,我 们 要 求 均 衡器 的 输出 y(n) 精 确 地 等 于 发 送信 号 x(n)。 试 证 明 , 当 
Bussgang 算 法 以 均值 收 伍 旦 获得 理想 均衡 时 , 非 线性 估计 器 必须 满足 的 条 件 是 

E|%g(z)] = 1 
UP a Er 的 条 件 均值 估计 。 

7. 在 执行 迭代 反 卷 积 的 Bussgang 算 法 中 , 式 (16.59) 为 求 模 向 滤波 器 抽 头 权 值 提供 了 一 个 自 适 
应 方法 。 试 导出 进行 这 个 计算 的 另外 一 种 方法 ,假设 可 用 一 超 定 方程 组 并 使 用 第 8 章 所 述 
的 最 小 二 乘法 。 

8. 由 ji.i.d. 符号 组 成 的 数据 流 加 到 一 个 二 进 制 相 移 键 控 (PSK) 系 统 。 得 到 的 调制 信号 x(n) 
加 到 某 一 脉冲 响应 未 知 的 线性 信道 。 常 模 数 算法 ( 即 p = 2 的 Godardq 算 法 ) 用 来 进行 信道 盲 
均衡 。 试 做 如 下 工作 : 

(a) 画 出 误差 信号 e(m) 对 于 均衡 器 输出 y(n) 的 曲线 图 。 
(b) 假设 使 用 信号 误差 型 CMA, MH e(n) 的 分 段 近 似 曲 线 。 
(c) 用 公式 表示 CMA 及 其 信号 误差 型 。 
[提示 :可 参考 本 章 注释 关于 符号 误差 CMA 的 主要 描述 。] 
9. 在 发 射 机 使 用 四 相 相 移 键 控 (QPSK) 的 条 件 下 , 重 做 习题 8。 
10. 本 题 的 条 件 与 习题 8 相同 , 不 过 我 们 现在 使 用 拌 动 符号 误差 型 CMA 来 处 理 实数 据 。 此 
后 ,将 它 简 称 为 DSE-CMA( 参 见 本 章 第 16.6 节 脚 注 ) 。 这 个 新 算法 可 用 更 新 方程 表述 为 
wn + 1) = w( + pu(n)[asgn{v(n))] 
式 中 
p(n) = e(n) + ae(n) 
e(n) = y(n)(Rz — y*(n)) 
这 里 pia AR, 都 是 正 的 常数 ,e (n) 是 附加 的 抖动 。 拌 动 的 样 值 在 区 间 [ - 1,1) be 
i.i.d.。 此 外 ,根据 量化 理论 , 算 子 asgn(v(n)) 等 效 于 一 个 两 级 量化 器 
A/2 对 于 y(n) S0 
Olr(n)) = 人 对 于 0) <0 
式 中 ,对 于 量化 器 输出 y(n) 的 相关 部 分 ,A=2a 和 a 二 1e(n)1。 
(a) AR y(n) ,证明 条 件 期 望 x(n) 等 效 于 传统 CMA 中 误差 信号 e(n) 的 硬 限 幅 形式 
a 对 于 v(n) > 0 
E[v(n)| y(n)] = re 对 于 |v(n)|<a 
-a 对 于 v(n) <—a 
(b) 对 于 a =2, 画 出 (a) 中 所 得 结果 的 曲线 。 
11. 数字 通信 系统 的 发 射 机 使 用 QPSK, 它 由 i.i.d. 符 号 组 成 的 数据 流 驱 动 。 已 调 信 号 加 到 未 
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知 脉冲 响应 的 线性 信道 。 现 用 Shalvi-Weinstein 均 衡器 进行 信道 盲 均衡 。 其 设计 基于 如 下 
代价 函数 
J = Ellyn] ZARF E[lyn P] = 0% 
RP y(n) 是 均衡 器 的 输出 ,o2 是 信 源 数据 序列 的 方差 。 
(a) 证 明 Shalvi-Weinstein 准 则 实际 上 就 是 p =2 时 的 Godard 准 则 。 
(b) 更 准确 地 证 明 , 在 无 噪 信道 的 条 件 下 ,Shalvi-Weinstein 代价 函数 的 极 小 点 与 Godard 代 价 
函数 的 极 小 点 相同 。 
[提示 :以 极 坐 标 形式 重 写 抽 头 权 值 , 即 一 个 单位 范 数 向 量 来 以 某 一 径 向 标 度 因 子 , 而 后 ， 
Godard 代 价 函 数 相对 于 径 向 标 度 因子 进行 最 优化 。] 


. 线性 通信 信道 用 分 数 间隔 Bussgang 均 衡器 的 代价 函数 J(w) 由 式 (16.116) 定 义 。 试 推导 该 


代价 函数 。 


S17 反 回 传播 学 习 


前 面 章 节 着 重 讨 论 了 两 大 类 自 适 应 线性 滤波 器 , 即 最 小 均 方 (LMS) 滤 波 器 和 递归 最 小 二 
乘 (RLS) 滤 波 器 。 滤 波 器 中 的 “线性 ”这 个 术语 是 从 结构 意义 上 讲 的 ,因为 这 两 种 滤波 器 都 是 
以 线性 组 合 器 或 格 型 预测 器 为 基础 导出 的 。 本 章 ,我 们 给 出 基于 前 馈 型 神经 网 络 [ 称 为 多 层 感 
4 (MLP, multilayer perptron) © ] 的 非 线性 自 适应 滤波 器 的 一 个 导 引 性 论述 。 

从 自 适应 滤波 的 观点 来 看 ,对 神经 网 络 的 研究 兴趣 是 由 其 通过 监督 学 习 能 够 逼近 未 知 非 
线性 输入 输出 映射 的 能 力 激 起 的 。 当 产生 输入 信和 号 (例如 语音 信号 ) 的 基本 物理 机 制 是 固有 非 
线性 时 ,神经 网 络 的 这 一 特性 将 特别 有 用 。 


17.1 S 形 神经 元 模型 


神经 网 络 是 由 基本 单元 构成 的 并 行 处 理 器 。 我 们 发 现 ,神经 网 络 中 的 这 一 基本 单元 与 生 
物 神 经 元 很 相似 , 故 将 该 基本 单元 称 为 人 工 神经 元 ,简称 为 神经 元 。 有 鉴于 此 ,我 们 从 描述 神 
经 元 的 一 个 通用 模型 ( 称 为 S 形 模型 ) 出 发 ,开始 讨论 神经 网 络 。 
图 17.1 给 出 这 一 神经 元 模型 的 结构 。 为 了 便于 描述 ,我 们 将 这 个 神经 元 标 为 i。 这 个 模 
型 的 两 个 功能 块 如 下 : 
1. 线性 组 合 器 ” 它 由 连接 到 输入 端的 一 组 权 值 (可 调整 的 参数 ) 构 成 。 为 了 简单 起 见 , 在 
图 中 用 标 有 符号 w 的 方向 箭头 来 表示 某 个 权 值 。 这 一 线性 合并 器 还 包含 一 个 用 声 表 
示 的 偏 置 。 这 一 偏 置 可 取 正 数 ,也 可 取 人 负数 。 
2. 激活 函数 ” 它 紧 跟 在 线性 组 合 器 后 面 。 激 活 阴 数 用 o 表示 , 它 不 仅 是 非 线性 的 而 且 是 
无 记忆 功能 的 。 





四 多 层 感 知 器 (MLP) 由 前 馈 型 神经 网 络 组 成 。 径 向 基 函 数 (RBF, Radial-basis function) 网 络 为 另 一 种 形式 (Haykin， 

1999) 的 前 馈 神 经 网 络 。 二 者 之 间 的 差别 可 归纳 如 下 : 

G) 径 向 基 函 数 网 络 是 单 隐 层 网 络 ,而 多 层 感 知 器 可 以 有 一 个 或 多 个 隐 层 。 

Gi) 表征 RBF 网 络 隐 单 元 的 核 (kemel) 由 如 下 函数 ,例如 高 斯 函数 

|x = xl? 
elx; x;) = exp( PE ) 

来 定义 , 式 中 x 是 输入 向 量 ,x; 是 第 i 单元 的 中 心 ,而 o? 是 某 一 共同 带宽 。 于 是 ,由 M 个 隐 单 元 RBF 网 络 实 
现 的 输入 输出 映射 定义 为 





i = 1,2,..., MI 


Mı 
y= > wel xi) 
与 之 相对 照 ,表征 MLP 网 络 隐 单 元 的 核 由 如 下 函数 ,例如 logistic 函数 


1 
= j= 1,2,..., M 
1 + exp(-x/x) ' uo 





g(x; x,) 


来 定义 。 
(iii) 径 向 基 画 数 网 络 是 一 个 局 部 (loeal) 逼 近 器 ,而 多 层 感 知 器 是 一 个 全 局 (global) 逼 近 回 。 
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线性 组 合 器 非 线性 激活 函数 
图 17.1 标 为 i 的 神经 元 简化 模型 


因为 激活 函数 是 S 形 的 ,所 以 通常 将 它 称 为 S 形 函数 ,其 图 形 如 图 17.2 所 示 。 相 应 地 ,可 
将 图 17.1 所 示 的 神经 元 模型 称 为 S 形 神经 元 (sigmoidal neuron)。 通 常 激活 函数 o 是 logistic R 
1 


p(neti) = 1 + exp(—net,) (17.1) 
式 中 “net; ”表示 线性 组 合 器 的 输出 , 即 
N 
net; = > wy (17.2) 
j=] 
AP x, 是 第 i 输入 端的 输入 信号 。 从 式 (17.1) 中 可 以 看 到 
1 net; = oo 
p(net;) = 了 net; = 0 (17.3) 
0 net; = —co 
g(net) 

















AL 17.2 S 形 激活 函数 


© 图 17.2 中 的 S 形 激活 函数 是 单 极 型 的 , 因为 无 论 输 入 的 极 性 如 何 , 这 个 模型 总 是 非 负 的 。 此 外 ,车 模型 输出 假设 为 
既 可 取 正 数 ,也 可 取 负 数 , 在 这 种 情况 下 ,激活 函数 称 为 双 极 型 的 。 人 们 特别 感 兴趣 的 双 极 型 激活 函数 是 双 曲 正 切 
函数 , 它 可 定义 为 


p(neti) = tant (3 net ] 


1 — exp(~net,) 
~ 1+ exp(—net,) 
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我 们 通常 用 反 向 传播 (BP, back-propagation) 算 法 来 训练 多 层 感 知 器 。 反 向 传播 算法 是 一 种 广义 
的 LMS 算法 。 我 们 将 在 第 17.3 节 介 绍 反 向 传播 算法 的 推导 过 程 。 导 出 反 向 传播 算法 的 必要 
条 件 是 激活 函数 p 关于 变量 net 连续 可 导 。 式 (17.1) 中 的 S 形 激活 函数 满足 这 个 条 件 , 它 关 
于 变量 net 的 导数 的 推导 过 程 如 下 式 


, de 
g'(net,) = d net; 





pnet) 
(1 + exp(-net,))” 

= g(net;)(1 — p(net;)) (17.4) 
LBS RARE. SIGUE RATE net, = 0 处 的 斜率 最 大 。 


17.2 多 层 感知 器 


多 层 感知 器 (MLP,multilayer perceptron) 是 一 种 由 一 个 输入 层 、 一 个 或 多 个 隐 层 和 一 个 输出 
层 组 成 的 神经 网 络 。 输 入 层 的 节点 称 为 源 节点 ,它们 只 起 连接 作用 ,没有 计算 功能 。 隐 层 和 输 
出 层 的 节点 都 具备 计算 功能 , 故 称 为 计算 节点 或 神经 元 。 源 节点 为 输入 信号 的 应 用 提供 物理 
接 入 点 。 隐 层 的 神经 元 起 “特征 检测 器 "的 作用 ;这 些 神经 元 由 于 物理 上 不 直接 与 输入 端 或 输 
出 端 相 接 , 故 称 为 隐 神 经 元 或 隐 节 点 。 输 出 层 的 神经 元 对 某 一 用 户 给 出 网 络 响 应 输入 信号 所 
达到 的 最 后 结果 。 图 17.3 画 出 由 一 个 输入 层 (3 个 源 节点 ), 一 个 隐 层 (5 个 隐 节 点 ) 和 一 个 输 
出 层 (单个 输出 神经 元 ) 组 成 的 多 层 感知 器 。 这 一 结构 有 如 下 两 个 明显 的 特征 : 


1. 多 层 感知 器 是 一 个 前 馈 网 络 ,在 这 个 意义 上 ,仅仅 通过 前 向 传播 ,输入 信和 号 就 在 网 络 输 
出 端 产生 一 个 响应 。 简 而 言 之 ,就 是 网 络 中 没有 反馈 。 

2. 图 17.3 所 示 的 网 络 是 全 连接 的 ,因为 网 络 中 某 一 层 的 每 个 节点 都 与 相 邻 层 的 每 个 节点 
相连 。 另 外 ,网 络 也 可 以 仅仅 是 部 分 连接 的 ,因为 某 些 连接 可 能 丢失 。 局 部 连接 网 络 
就 代表 一 种 重要 的 部 分 连接 网 络 。“ 局 部 ”意味 着 网 络 中 某 一 层 的 一 个 神经 元 只 连 到 
输入 信号 集中 的 一 个 子 集 。 


输入 层 的 源 节 点 数 由 产生 输入 信号 的 观测 (数据 ) 空 间 的 维 数 决定 。 输 出 层 中 的 计算 节点 
数 由 期 望 响应 所 要 求 的 维 数 决 定 。 因 此 ,设计 一 个 多 层 感知 器 ,涉及 以 下 三 个 问题 : 


1. 确定 隐 层 数 
2. 确定 每 个 隐 层 的 神经 元 个 数 
3. 确定 网 络 中 不 同 层 神经 元 的 连接 权 值 (简称 权 值 ) 


前 两 个 问题 与 多 层 感 知 器 的 复杂 性 有 关 , 将 在 本 章 的 后 续 部 分 讨论 。 我 们 用 反 向 误差 传播 算 
法 来 解决 第 三 个 问题 。 有 些 文献 中 也 将 它 称 为 反 向 传播 算法 (BP 算法)。 

在 下 一 节 中 ,我 们 将 推导 复 反 向 传播 算法 。 这 个 算法 可 以 处 理 复 信 号 。 用 于 处 理 实 信号 
的 反 向 传播 算法 可 以 看 做 复 反 向 传播 算法 的 一 个 特例 。 

















BE: 
节点 数 M =5 


图 17.3 含 一 个 隐 层 的 多 层 感知 器 


17.3 复 反 自传 播 算法 


复 反 向 传播 (BP) 算 法 ? 是 复数 LMS 算法 的 一 个 推广 , 它 具 有 一 个 适当 选择 的 非 线性 激活 
函数 。 在 BP 算法 的 执行 过 程 中 ,信和 号 沿 两 个 方向 传输 ， 


1. 前 向 传输 ”此 时 ,网 络 的 连接 权 值 是 固定 不 变 的 ,通过 使 网 络 服从 于 某 一 指定 输入 信 
号 集 来 计算 网 络 响应 。BP 算法 的 前 向 传输 类 似 于 LMS 算法 中 的 滤波 过 程 。 

2. 反 向 传输 ”此 时 ,要 对 连接 权 值 进 行 调整 ,其 目的 是 使 误差 平方 和 形式 的 代价 函数 最 
小 化 。 特 别 地 ,我 们 首先 计算 输出 层 误差 信号 ,然后 通过 网 络 一 层 一 层 地 反 向 工作 ( 计 
算 误差 ), 直 到 涵盖 整个 网 络 。BP 算法 的 名 字 来 源 于 其 实现 中 误差 计算 的 反 向 特性 。 
BP 算法 中 的 反 向 传输 类 似 于 LMS 算法 中 的 自 适应 过 程 。 


BP 算法 的 推导 通常 是 对 实数 据 进 行 的 (Rumelhart et al., 1986; Werbos, 1993; Haykin, 


1999)。 然 而 ,这 里 将 通过 首先 导出 复数 形式 的 算法 ,进行 一 个 不 同 的 过 程 。 此 处 ,关键 问题 是 
如 何 处 理 复 值 数据 ? 这 种 情况 在 处 理 复 基带 数据 (诸如 雷达 、 声 纳 和 通信 ) 时 常会 遇 到 。 解 决 





O 复 反 向 传播 算法 是 许多 研究 人 员 (Clarke, 1990; Kim & Guest, 1990; Henseler & Braspenning, 1990; Leung & Haykin, 


1991; Georgiou & Koustougeras，1992; Benvenuto & Piazza, 1992) 在 各 自 独立 的 研究 成 果 的 基础 上 发 展 起 来 的 。 这 里 : 


引用 的 所 有 方法 基本 上 都 是 将 复 最 小 均 方 (LMS) 算 法 推广 到 多 层 网 络 后 形成 的 。 当然 这 个 多 层 网 络 的 每 一 层 都 含 
有 多 个 具有 非 线性 激活 函数 的 线性 组 合 器 。 
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这 一 问题 的 方法 有 两 种 : 
1. 输入 数据 集合 中 每 个 数 的 实 部 和 虚 部 当做 两 个 相互 独立 的 项 分 别处 理 。 类 似 地 ,网 络 
输出 每 个 数 中 的 实 部 和 虚 部 也 当做 两 个 相互 独立 的 项 分 别处 理 。 然 后 ,按照 常规 的 实 
数 形 式 BP 算法 计算 网 络 的 连接 权 值 。 
2. 对 连接 权 值 赋 复 值 , 然 后 用 复数 形式 的 BP 算法 计算 网 络 的 连接 权 值 。 
这 两 种 方法 是 等 效 的 (Haykin & Ukrainec，1993)。 设 所 期 望 的 映射 写 为 
Z = Z; + jtg 一 9p(z) = u(z;, Zo} + jv(z1, Zo) (17.5) 
式 中 
(z;,29) 一 u(z;,29) 和 (Zi, Zo) > v(z;, Zo) (17.6) 
而 这 里 u 和 w 是 复 输 入 向 量 z 的 实 函 数 , 下 标 1 和 0 分 别 表示 同 相 和 正 交 分 量 ( 即 实 部 和 虚 
部 )。 于 是 ,两 个 实 值 前 馈 网 络 可 用 来 计算 结果 的 映射 ,其 中 一 个 计算 映射 的 实 部 , 另 一 个 计算 
映射 的 虚 部 。 然 而 ,使 用 复权 值 网 络 有 其 自身 的 优点 。 人 参考 图 17.1 所 示 的 线性 组 合 器 部 分 ， 
可 用 向 量 形式 写 出 其 标量 输出 < 


Xiw = (x, + jxo) (w; + jwo) 


= (x}w, + x5Wo) + j(-x5w; + x7 wo) (17.7) 
式 中 x=x + jxo 是 复 输入 向 量 ,w= w, + jw, 是 相应 的 复权 向 量 ,而 为 了 便于 标记 ,省 略 了 下 
标 i。 等 效 的 实 组 合 器 亦 可 只 用 实 值 向 量 来 构造 ,结果 为 





[x7 xo] H | = [xyu + xpuo x}v) + xpvo] (17.8) 
式 中 权 值 矩阵 由 实 向 量 uuv 和 vo 组 成 。 式 (17.8) 中 产生 的 实 向 量 包含 了 式 (17.7) 中 复 
输出 的 实 部 和 虚 部 。 比 较 式 (17.7) 和 式 (17.8) ,容易 看 出 

u = w v= Wo 


Uo = Wo Vo = —W, (17.9) 


因此 ,有 

u = -yọ Ug =V; (17.10) 
显然 ,实权 值 网 络 比 完全 需要 求解 复 映射 问题 的 网 络 有 更 大 的 自由 度 。 遂 常 , 实 值 学 习 算法 将 
所 有 的 权 值 当 做 相互 独立 的 参数 ,然后 对 它们 进行 调节 以 使 代价 函数 ( 值 ) 下 降 。 在 复 值 映 射 
的 情况 下 ,存在 着 对 称 性 ,而 这 种 对 称 性 并 没有 被 实权 值 学 习 算法 所 利用 (有 可 能 约束 权 值 ,使 
得 实权 值 之 间 也 存在 对 称 性 。 然 而 ,通常 的 梯度 下 降 算法 并 不 利用 这 个 信息 ,而 且 当 算法 结束 
时 即 丢弃 该 信息 )。 换 言 之 ,与 实权 值 网 络 相 比 ,复权 值 网 络 给 出 十 分 节省 的 解决 方案 。 其 他 
的 考虑 还 包括 算法 的 收敛 性 。 业 已 证 明 (Horowitz & Senne，1981), 复 LMS 算法 的 性 能 优 于 实 
LMS 算法 。 复 LMS 算法 更 稳定 ,而 且 其 均 方 收敛 速率 几乎 是 实 LMS 算法 的 两 倍 。 因 为 BP 算 
法 是 LMS 算法 的 推广 , 故 可 推断 这 个 特性 也 会 保留 到 前 馈 神 经 网 络 中 。 


17.3.1 复 反 向 传播 算法 的 推导 
在 多 层 感 知 器 中 使 用 非 线性 函数 会 引出 这 样 一 个 问题 , 即 复 激活 函数 应 采用 何 种 形式 ? 
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要 回答 这 个 问题 ,需要 考虑 复 变 量 的 可 微 函 数 的 特性 。 一 个 具有 个 计算 层 的 多 层 感 知 器 如 
图 17.4 所 示 。 网 络 中 1 层 上 第 i 个 神经 元 的 输入 输出 关系 可 用 非 线 性 方程 表征 为 


xD = o( 3 vinx” + Bro) 1=0,1,...,M—1 (17.11) 
£ 


并 在 1+1 层 第 i 个 节点 上 产生 输出 , 式 中 参数 b 是 一 个 偏 置 项 ,等 效 于 连 到 常数 输入 +1 的 
一 个 连接 权 值 。 式 (17.11) 适 用 于 多 层 感知 器 的 所 有 神经 元 ,如 图 17.4 所 示 。 
误差 信号 定义 为 网 络 的 期 望 响 应 与 实际 输出 之 差 。 特 别 地 ,对 于 第 ;个 输出 神经 元 ,有 
eln) = d; — y(n) i= 1,2,..., Nm (17.12) 
AF d; 是 输出 层 第 i 个 节点 的 期 望 响应 , y (nE RE i 个 节点 的 输出 , Ny 是 神经 网 络 
输出 层 (后 面 称 为 第 M 层 ) 的 神经 元 个 数 ,n 表示 算法 迭代 的 次 数 。 由 网 络 产 生 的 平方 和 误差 
定义 为 代价 函数 


Nu 


Eln) = > > e(n)e*(n) = 由 = 了 > lath (17.13) 


BP 算法 利用 近似 梯度 算法 ,通过 递归 地 调整 多 层 感 知 器 的 复权 值 ,使 代价 函数 名 (nn) 最 小 化 。 
权 值 更 新 方程 为 


wo (n+ 1) = wn) + Aw!?(n) (17.14) 
权 值 以 正比 于 负 梯 度 的 方式 变化 。 式 (17.14) 中 的 更 新 项 为 
Awi)(n) = -u VG Eln) (17.15) 


式 中 p 是 学 习 速率 参数 ,Vw 名 (n) 是 代价 函数 6(n) 关 于 权 值 wp 的 梯度 。 我 们 首先 必须 求 
BERTEM - 1) 层 的 复权 值 的 偏 微分 ,然后 将 它 推广 到 所 有 隐 层 的 系数 。 代 价 函 数 
名 (n) 关 于 第 (M -1) 层 复权 值 的 梯度 定义 为 





Vin VE(n) = mare n) +j pa (17.16) 
RE n 次 和 迭代 中 将 第 p 个 节点 连 到 (MM -1) 层 第 i 个 节点 的 复权 值 可 表示 为 
wip (n) = wip O(n) + jwdip (n) (17.17) 
式 中 下 标 7 和 0 分 别 表示 所 讨论 问题 中 复权 值 的 实 部 和 虚 部 。 此 时 ,输出 y(n) 为 
y; = x! = gnet”) (17.18) 
式 中 
nett”) = net WY + fet 
E RS pact gin + opr (17.19) 
设 plne h ) 是 一 个 适当 的 复 激 活 函 数 , 则 
p(net;) = p(net,; + jnetg ;) (17.20) 


= u(net, ;, neto;) + jr(net, ;, neto ;) 
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第 (M 一 1) 个 隐 层 输出 
=M y 


输入 层 第 一 隐 层 
€ =0: 节 点 数 = No € = 1: 节 点数 = Ni € 一 1 节点 数 = Ny € = MR 


=o 0 
uy =x, xM) 


U = x 


输入 输出 


= 0 
UNG XNo' ; 





aa 
ae 





F 
z r 
` ‘ M2 1 So M-1)_ (M-i *(M-1 
= of Zod Oo + 6) {MD = (È wp Dx MD + bj) yaa = o( Zo, WD by )) 
j= 
i= 1,2, ...,Ny ( i=1,2 wes Nyt i= 1,25 wey Ny 


图 17.4 多 层 感 知 器 各 层 信 和 号 的 定义 


AP :和 ?" 是 实 函数 。 假 设 激活 函数 的 导数 存在 , 则 可 定义 为 














p(neti) = See) (17.21) 
u 和 vw 关于 内 部 信号 net 之 实 部 和 虚 部 的 偏 导数 定义 为 
F Ou; 
Bie 9 netz; 
: Ou; 
“oi = ð neto; 
， av, (17.22) 
Pri = ô netz; 
和 和 au; 
oF ð neto, 


RR, BATE BR HIE (nO wi? MIE) Iw BGA, ALGAE OR SENT 
写 出 
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ae ae ( ðu; net, ; ðu; netes) 
awh” Ou; onet,; IW) ip a neto; OW) ip 
. 17.23 
=( du, Onet;; ðv; tretes) ( ) 
Advi\ 9 Net; ; IW; ip 9 neto,: IW) ip 
及 
a ag ( ðu; dnetri ðu; retes 
awe D bu, ð net; dW ip AnNetg; IWg ip 
(17.24) 
= dv, Onet,; Av; | 
Ov; ð netz; IWo, ip ð neto, dWo, ip 
计算 偏 导数 9 netz; /9 Wi, ip ,得 到 
ð netz; ð [ + i Lb 
Wr ip = SW ip Wr ipX1,p + Wo,ipXQ,p nil] = XI, p (17.25) 
用 类 似 的 方法 ,可 求 出 式 (17.23) 中 其 余 的 偏 导 数 。 总 结 到 此 为 止 所 做 的 工作 ,我 们 有 
dnet,; 
OW! ip ~ Xp 
anetz; 
Wg ip T XO, p 
ð neto; (17.26) 
=x 
WI ip QP 
和 ð neto; i 
Wo,ip np 
将 式 (17.22) 和 式 (17.26) 代 人 式 (17.23) 和 式 (17.24) ,可 以 得 到 
dE(n) aé(n) ， (M-i ， M-1 
, (17.27) 
$ n 
ah n) ia ( vx -1) + vpi xT 1) 
Pi Eln) Eln) 
dén bln 
— 1 (M-i) (M-1) 
axy un ( 1i XQ, p HOC 
(17.28) 





Eln 
aa iy (@ 2 D- voix to D) 
式 中 ,正如 前 面 提 到 的 ,符号 “” 表 示 微 分 。 至 此 ,对 于 网 络 中 M -1 AE, 4 
易 求 出 代价 函数 的 偏 导 数 如 下 
sbin) 
auf" = 


deln) 
wD 一 —[doi ~ yo(n)] = —eo(n) (17.30) 





[dii — yn)] = —eri(n) (17.29) 
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将 式 (17.27) 和 式 (17.28) 代 人 式 (17.16) 并 做 相应 的 简化 ,得 到 


aE(n) 
ax- 1) (ui D- jug D) 





VE DE(n) = xM- om ( 


a(n) (17.31) 


+ ov( MY) (vA 一 pg) 
然后 ,将 式 (17.29) 和 式 (17.30) 用 于 式 (17.31) ,得 
Vik VE(n) = =xM -D (n) le, i(n)(uii — jugi) + eoi(n)(vii — jvo)] (17.32) 
从 而 , 式 (17.14) 的 权 值 更 新 方程 变 为 
wh (n+ 1) = wh h(n) + pxp [ea — jug) 





17.33 
+ eg i(n)(v}; — jvb) ( ) 

用 类 似 的 方法 ,可 以 导出 偏 置 项 b 的 更 新 公式 。 它 可 以 表示 为 
BI Yn + 1) = Bn) + pleri(n)(ws — jugi) (17.34) 


+ egi(n)(vri — jvo)] 

模式 分 类 常常 要 求 一 个 从 多 维特 征 空间 到 一 类 标记 之 间 的 映射 。 例 如 ,属于 某 一 个 类 < 

的 特征 数据 被 训练 ,以 便 将 输入 数据 映射 为 神经 网 络 第 丰 个 和 输出 节点 的 某 一 常数 。 对 于 这 种 

应 用 ,人 们 希望 使 用 一 个 有 界 的 非 线性 激活 函数 。 然 而 ,如 果 要 求 连续 映射 ,如 在 非 线性 预测 

问题 ( 它 是 非 线性 回归 的 一 个 例子 ) 中 , 则 建议 移 走 输出 单元 的 非 线性 (函数 ) ,使 网 络 的 最 后 一 
层 作为 线性 组 合 器 ;这 种 修改 使 得 网 络 的 输出 以 无 界 的 方式 变化 。 在 后 一 情况 下 , 令 


p(net;) = net; (17.35) 
其 偏 导数 为 
uy; 一 工 
Lo =0 
vi = 0 (17.36) 
和 . 
Voi 一 工 
将 这 些 值 代 入 式 (17.33) 的 权 值 更 新 规则 ,可 得 
wh (n +1) = wh (n) + px hinein) (17.37) 
这 就 是 人 们 熟悉 的 复 LMS 算法 。 


我 们 已 经 证 明 (W - 1) 层 (输出 层 ) 权 值 的 更 新 过 程 。 下 一 步 是 推导 更 新 隐 层 权 值 所 需 的 
关系 式 。 其 主要 思想 是 求 出 第 1 层 误差 与 第 (1 - 1) 层 误差 之 间 的 关系 。 用 这 个 方法 ,我 们 可 
以 反 向 传播 该 误差 , 即 从 输出 层 后 退 到 输入 层 ,一 层 一 层 地 反 向 传播 误差 。 

按照 多 层 感 知 器 中 隐 层 重新 表述 式 (17.27) 和 式 (17.28), 可 以 得 到 代价 函数 名 (n) 关 于 
(M -2) 层 权 值 的 偏 导 数 


de(n) 9%(n) 
+ „(M-2) (M-2) 
aw?) ~ du (urix p + ub ixdp ) 








3€(n) (17.38) 


M-2 
(Ma May (Vix + vb xg y a) 
av; 
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de(n) t(n) (M-23) y (M2) 
Do M2) T gu a (u 1i*Q,p UO iX ip ) 
Qi i 
P x (17.39) 
E ONAE 
av» Ti XO, p VQ,iX1,p 
应 用 微分 学 中 的 链 式 法 则 , 可 以 得 到 
a(n) _ 5 dE(n) (a dnet,;,  aui-)) ae) 
uM) aul) \anet,, auh aneto g gu? (17.49) 
T aul!) Na netre du 2) aneto du» 
及 
dE(n) _ 5 a€(n) (= uD anet,, dud ee | 
av?) T auh \anet,, w aneto p gv? (17.41) 





a(n) (WMT anet;, avd anety, 

+ > au\M-) (a au(@~?) + dnetg, avi" 25) 

在 式 (17.40) 和 式 (17.41) 中 ,代价 函数 %m(n) 的 偏 导 数 是 按照 (M - 1) 层 的 偏 导 数 表 示 的 。 我 们 
现在 只 需要 确定 


netd = E wg Defne) + pg 
i 








= Suave? + of Wo + BM) (17.42) 
i 
二 
关于 前 一 层 [ 即 (M -2) 层 ] 的 w 和 wv 的 偏 导 数 。 将 这 些 偏 导数 汇总 在 一 起 ,我 们 有 
(m- 1) 
anett = uM» 
aul 5 WT ki 
(M~1) 
a net” = wM- 
au 与 Q. ki 
(M-1) 17.43 
ð neto, k = yD ( ) 
gu -2) Q, ki 
i 
和 ð neth” (M-1) 
cece = Wi kai 
将 式 (17.43) 代 入 式 (17.40) 和 式 (17.41) , 则 可 表示 感 兴趣 的 偏 导数 为 
a(n) aln) M1) MD) AM-1 (M=1) 
aud > aut) unk wi 一 usin wok ) 
t 


(17.44) 
4 5 dé(n) (vD 一 vM- Dyp (Me fD) 
4 dv Lk Lki Qk 
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及 
d€(n) a(n) , 
wD > aut ue wa? + ug Pw?) 
a(n) (17.45) 
n 一 一 
十 > av ™ D (ork Pw 2 十 udk ofi D) 
k OU; 
将 以 上 两 式 分 别 作为 一 个 复 偏 导数 的 实 部 和 虚 部 加 以 合并 ,并 经 简化 后 可 以 写 出 
alln) . Eln) 
Buf I aD 
l (17.46) 
dé(n 9 (n 
= = 之 M- D n)( — (wh x + jug) + sen Oha + joon) 
k 


式 中 带 “” 的 变量 是 (MM - 1) 层 的 变量 。 

运用 归纳 法 ,可 将 这 一 关系 推广 到 多 层 感 知 器 的 其 余 隐 层 。 式 (17.46) 给 出 误差 从 输出 层 
反 向 传播 到 第 一 个 隐 层 的 方法 。 在 确定 了 特定 层 的 98 (n)/3wu 和 9%(n)/3v 之 值 后 , 式 (17.31) 
给 出 该 梯度 值 ,从 而 权 值 更 新 值 。 


17.3.2 复 值 激活 函数 


将 BP 算法 应 用 到 复数 域 时 , 遇 到 的 困难 之 一 是 激活 函数 的 合适 选择 。 由 于 函数 的 奇异 
性 ,将 S 形 函数 直接 从 实数 域 推广 到 复数 域 是 不 合适 的 。 若 用 z 作为 式 (17.1)logistic 函数 的 
复数 输入 ,得 到 

Tee 一 co 对 于 z= 士 /2K +1)n, k 为 任意 整数 (17.47) 

对 于 多 层 感 知 器 的 实际 实现 ,激活 函数 必须 是 有 界 的 。 否 则 ,在 多 层 感 知 器 的 软件 实现 中 , 存 
在 运算 溢出 的 风险 。 硬 件 实现 时 也 会 遇 到 类 似 的 情况 ,从 而 导致 节点 输出 处 可 能 钳 位 (clip- 
ping) 的 无 界 输出 。 因 此 ,必须 避免 激活 函数 的 奇异 性 。 

为 了 有 助 于 用 反 向 传播 算法 训练 多 层 感 知 器 , Georgiou 和 Koutsougeras(1992) 导 出 了 复 激活 
函数 必须 满足 的 一 组 特性 。 这 些 特性 可 以 归纳 如 下 : 


1. 激活 函数 p(z) 应 该 是 复 变量 z 的 实 部 z。 和 虚 部 z 的 非 线性 函数 ;否则 ,多 层 感知 器 就 
没有 优势 可 言 。 线 性 多 层 感 知 器 总 可 以 缩 为 一 个 等 效 的 单 层 网 络 。 使 用 多 层 感 知 器 
的 动因 是 得 到 一 种 非 线性 网 络 , 以便 能 够 逼近 比 线性 网 络 范 围 更 广 的 一 般 函 数 集 。 

2. 激活 函数 p(z) 应 该 有 界 。 多 层 感知 器 前 向 传输 的 计算 要 求 其 有 界 ,否则 网 络 会 发 生 

钳 位 或 数值 溢出 。 

. 激活 函数 p(z) 的 偏 导数 应 该 存在 且 有 界 。 因 为 学 习 阶 段 按 照 正 比 于 偏 导 数 的 数量 更 

新 多 层 感 知 器 的 复权 值 ,所 以 偏 导 数 也 必须 有 界 。 

4. 激活 函数 p(z) 不 应 该 是 复数 域内 处 处 解析 的 整 函数 (entire function)。 若 一 个 函数 在 点 
zo 的 某 个 邻 域 内 可 微 ,我 们 就 说 该 函数 zo 在 点 za 是 解析 的 。 根 据 刘 维尔 定理 (Liouville 
theorem) ( 见 附录 A) AI ,一 个 有 界 的 整 函数 是 常数 。 显 然 ,根据 性 质 1, 一 个 整 函数 不 宜 
选 做 激活 函数 。 


uo 
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5. 代价 函数 (n) 的 偏 导 数 应 该 满足 下 列 条 件 , 即 
oE .9% 
ou ðv 
为 了 满足 这 个 条 件 , p(z) 的 偏 导数 不 应 该 满足 关系 式 uvo = uguo MRH x, (n) #0 
时 式 (17.31) 的 实 部 和 虚 部 同时 为 0, 则 这 个 关系 能 够 满足 。 若 激活 函数 的 偏 导数 满足 
这 一 关系 , 它 将 意味 着 当 非 零 输 入 和 非 零 误差 都 出 现时 ,有 可 能 V 吕 =0, 从 而 网 络 达到 

了 一 个 稳定 点 。 因 为 权 值 更 新 正比 于 梯度 值 ,故此 时 网 络 不 继续 学 习 。 


图 17.5 和 图 17.6 示 出 两 种 可 供 选 择 的 激活 函数 。 图 17.5 表示 由 Benvenute 和 Piazza 
(1992) 提 出 的 复 激 活 函 数 。 它 是 实 部 和 虚 部 S 形 函数 的 和 加 , 即 


#0 


c c 
= +t ee ee 
p(z) 1 + exp(—kz,) tig exp(—kz;) (17.48) 


式 中 z, Mz 分 别 是 z 的 实 部 和 虚 部 。 


Re{e(z)} 





Ip(z)| 





z= 2, + jz; 


17.5 激活 函数 p(z) = c/(1+e 5)+jc/(1+e- 乞 ) 的 实 部 (上 图 ) 和 幅 值 (下 图 ) 


另 一 种 激活 函数 由 Georgiou 和 Koutsougeras(1992) 提 出 。 正 如 从 图 17.6 中 看 到 的 那样 , 它 
也 很 像 S 形 函数 ,可 表示 为 
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zZ 
e(z) = ee (Akl (17.49) 


这 个 函数 将 z 域 映射 为 一 个 开 圆 1z1 < ,所 以 该 函数 可 有 效 地 将 1p(z)1 的 取 值 范围 压缩 在 
[0， 门 区 间 内 。 





lp(z)| 
0.4 





z= 2, + jz; 


图 17.6 激活 函数 p(z) = z/[c+ (1/r) 12) SER EA) MCE) 


BER BRAT EL VA LWT RAARD E JT SH SEERA A PL FD BT DB BE 
于 表 17.1 中 ) 而 结束 对 它 的 讨论 。 


表 17.1 复 反 向 传播 算法 小 结 


1. 初始 化 

置 所 有 权 值 和 偏 置 为 小 的 复 随机 值 
2. 表示 输入 和 期 望 输出 

表示 某 一 时 间 的 一 对 向 量 : 输 入 向 量 x(1),x(2),...， x( 入) 与 对 应 的 期 望 输出 d(1) ,ad(2),.. .ad(N) 
3. 计算 实际 输出 - 

利用 图 17.4 中 的 公式 计算 输出 信号 yi ye... ,yw 


M 
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ce ŻA 
4. 权 值 和 偏 置 的 自 适 应 
_ de(n) . aé(n) ， 
awt (ny = —pxl! nm ( Sy (ut; 一 jug.) + aot) (vhi 一 ju 
E aé(n) , | , a€(n) ，， , 
Ab! Dn) oa (uri — jugu) + aut) (vhs joo) 
其 中 
agin) e(n) 一 [d 一 y(n)] 对 7! = M 
—— 十/ = nf Fen) , d€(n) ; 
aul) ay) Swit @ (ut x + jug.) + — (Vrk + ivan) X ISIM 
' t 天 Ou; OV; 


这 里 x, (n) = 第 n UTE p 个 节点 的 输出 


0 


17.3.3 动量 项 的 引入 


通过 在 网 络 权 值 更 新 公式 中 加 入 一 个 动量 项 (Rumelhart et al. ,1986) 可 加 速 反 向 传播 算法 
的 学 习 过 程 。 于 是 , 式 (17.15) 中 定义 的 网 络 第 1 EERDE w MEER Awp (ë 

改 为 
Aw (n) = awh (n — 1) — p Vaden) (17.50) 


式 中 a RIDERR, Aw? (n - 1) 是 前 一 次 的 修正 值 。 如 前 ,w 是 学 习 速 率 参 数 。 

动量 的 使 用 引入 了 一 个 基于 Aw 多 (mr) 的 反馈 环 路 。 这 一 环 路 会 对 反 向 传播 算法 的 学 习 
特性 产生 十 分 有 益 的 影响 。 特别 地 , 它 有 助 于 防止 学 习 过 程 陷 人 多 层 感知 器 误差 性 能 曲面 的 
局 部 最 小 点 (Rumelhart et al., 1986; Haykin, 1999)。 


17.3.4 实 参 数 反 向 传播 算法 


反 向 传播 算法 的 通常 推导 是 针对 实数 据 和 实 参 数 的 。 现在 证 明 它 只 是 更 一 般 的 复 反 向 传 
播 算法 的 一 个 特例 。 
我 们 着 手 考虑 所 有 参数 (包括 输入 和 期 望 输出 数据 ) 都 是 实数 的 情况 。 根据 复 值 神经 网 
络 ,二 次 分 量 都 取 为 零 。 将 这 个 条 件 用 于 式 (17.23) 和 式 (17.24) ,容易 看 出 只 有 第 一 式 幸存 ， 
从 而 有 
dé ðE ou; ðnet; 
IWip 7 du; ð net; Wip 


注意 ,因此 时 不 再 考虑 信号 的 正 交 分 量 , 故 式 中 略 去 了 变量 的 同 相 标记 1。 此 外 , 几 是 出 现 4 
的 地 方 ,都 用 下 式 代替 BA 





(17.51) 





p(neti) = u(net;, 0) (17.52) 
由 此 可 以 得 出 
, , Ou; 
g'(net;) = uni = 3 net, (17.53) 


于 是 , 式 (17.51) 可 以 改写 为 
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ag _ ôg dp(neti) anet, 
OWip ag(net,) ð net; ðWip 


激活 函数 ole) FT DEER A R P A R 17.1) FE LAY logistic 函数 通常 
选 为 S 形 函数 。 
我 们 现在 定义 一 个 新 的 变量 





(17.54) 





0% 
b(n) = 一 a (17.55) 
对 于 多 层 感 知 器 输出 层 的 情况 ,可 写 出 
ag  ag(net,) 





Bn) = = p'(net(” Ve(n) (17.56) 


dp(net;) dnet; 
式 中 第 二 个 等 号 右边 的 符号 “ ”表示 微分 。 而 对 于 网 络 的 隐 层 ( 即 1< 1< M) ,我们 有 
51 Nn) = o'(net{?) X wulan) (n) (17.57) 
k 
变量 $ 被 看 做 反 向 传播 误差 项 , 它 从 输出 层 开 始 , 递 归 地 ( 反 向 ) 计 算 多 层 感 知 器 的 每 一 层 。 


表 17.2 汇总 了 实 反 向 传播 算法 的 主要 步骤 。 注 意 ,在 这 里 动量 项 也 可 用 类 似 于 复 反 向 传 
播 算法 的 方式 被 引进 。 


表 17.2 实 反 向 传播 算法 小 结 


m 


. 初始 化 
置 所 有 权 值 和 偏 置 为 小 的 实 随机 值 
,表示 输入 和 期 望 输出 
表示 某 一 时 间 的 一 对 向 量 : 输 入 向 量 x(1) ,x(2),...， x(N) 及 其 对 应 的 期 望 输出 4(1) ,4d(2),...， aC), Fo ON 是 
训练 的 总 模式 数 
. 计算 实际 输出 
利用 图 17.4 的 公式 计算 输出 信号 yi yz- yw ,忽略 所 有 复数 共 斩 


. 权 值 和 偏 置 的 自 适应 


i) 


w 


a 


Aw! (n) = uxa n) 
Abf Wn) = u afn) 
其 中 
p(net Y) [d; - y(n)] L=M 


WD (ny = 
m= 1 net) E wun 1<l<M 
k 


这 里 x; (n) = 38 n KERB Se 
17.4 万 能 逼近 定理 


用 反 向 传播 算法 训练 的 多 层 感 知 器 为 逼近 一 般 特 性 的 输入 输出 非 线 性 映射 提供 了 一 种 强 
有 力 的 手段 。 这 里 要 讨论 的 一 个 关键 问题 是 :为 了 使 设计 的 多 层 感知 器 以 一 致 方式 进行 逼近 ， 
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需要 多 少 个 隐 层 ? 回答 这 个 基本 问题 可 用 万 能 允 近 定理 0, 它 可 描述 如 下 : 
设 / 表 示 一 个 非常 数 、 有 界 、 单 调 增 连续 函数 。 令 [表示 No 维 单位 超 立 方 体 。 用 
Cy, ATE 加 上 的 连续 函数 空间 。 于 是 ,车 给 定 任意 的 函数 fc C(I) 和 一 个 常数 
e >0, 则 存在 一 个 整数 N, MEARKE a,b Aw, (i= 1,2,...,N, 和 p=1,2,...， 
No) ,使 得 我 们 可 定义 


Ai No 
F(u, Ug, ... , Uy) = Sael Dd wipxp + n) (17.58) 
i=l p=1 


作为 函数 的 一 个 近似 实现 , 即 对 于 所 有 的 {1, w，. .. ,uw | e yy ,该 近似 的 绝对 值 满足 
如 下 条 件 


(Flu was Wm) fu Uy IKE 


万 能 逼近 定理 可 直接 应 用 于 具有 下 列 特性 的 多 层 感 知 器 ; 
e 由 No 个 节点 组 成 的 输入 层 , 其 输入 信号 表示 为 x1 , xs，,... ,xw 


0 


e 由 Ni 个 S 形 神经 元 组 成 的 单 隐 层 ,其 第 i 个 神经 元 的 权 值 为 Wis Wiggs. 05 Win, 
o 由 一 个 线性 神经 元 组 成 的 输出 层 


注意 到 ,万 能 逼近 定理 是 一 个 存在 性 定理 。 在 这 个 意义 上 ,与 某 一 精确 表示 相 比 ,该 定理 
为 任意 连续 函数 的 逼近 提供 了 数学 证 明 。 作 为 该 定理 核心 的 式 (17.58) 仅 仅 推广 了 有 限 传 里 
叶 级 数 的 通 近 。 实 际 上 ,该 定理 指出 ,一 个 单 隐 层 多 层 感知 器 已 经 足以 实现 由 输入 信和 号 集 x ， 
x2，. :zw 和 期 望 (目标 ) 输 出 f(x , xa,...，, an ) 所 表示 的 某 一 给 定 训 练 集 的 一 臻 逼近 。 因 
此 ,从 理论 的 观点 ,万 能 逼近 定理 具有 重要 的 意义 。 没 有 这 一 定理 ,我 们 可 能 还 会 继续 搜索 一 
个 并 不 存在 的 解 。 然 而 ,这 个 定理 并 没有 说 ,在 学 习 时 间或 易于 实现 的 意义 上 单 隐 层 是 最 佳 
的 。 

从 实用 的 观点 , 单 隐 层 多 层 感知 器 存在 的 问题 是 隐 层 神经 元 易 引 起 相互 作用 。 在 复杂 的 
情况 下 ,这 种 相互 作用 使 得 很 难 做 到 既 改 进 某 个 点 的 逼近 ,又 不 晋 化 其 余 点 的 性 能 。 另 一 方 
面 ， 带 有 两 个 或 多 个 隐 层 的 多 层 感 知 器 ,其 逼近 (曲线 拟 合 ) 过 程 可 能 会 变 得 更 易 控 制 (Ches- 
ter，1990)。 因 此 ,在 解决 大 规模 的 复杂 问题 时 ,推荐 使 用 带 有 两 个 或 多 个 隐 层 的 多 层 感知 器 。 


17.5 网 络 复杂 性 


为 了 用 多 层 感知 器 解决 实际 问题 ,通常 要 求 使 用 大 规模 高 度 结构 化 的 网 络 。 在 使 用 过 程 
中 产生 的 一 个 实际 问题 是 ,如 何 使 网 络 规模 最 小 化 ,同时 又 能 保持 良好 的 性 能 。 作 为 一 般 的 原 
则 ,最 小 规模 的 神经 网 络 不 大 可 能 学 习 训练 数据 中 的 特质 或 噪声 从 而 能 较 好 地 推广 到 (未 经 训 
练 的 ) 新 数据 。 泛 化 (generalization) 这 一 源 于 心理 学 的 术语 涉及 神经 网 络 的 能 力 , 即 学 习 训 练 
数据 中 基本 信息 内 容 以 便 获得 取 自 相同 输入 空间 但 训练 时 未 被 使 用 的 测试 数据 中 “合适 ”性 能 
的 能 力 。 








由。 Cybenko Funahashi 和 Homik 等 在 1989 年 分 别 独立 地 导出 了 万 能 逼近 定理 。 


使 网 络 规模 最 小 化 的 方法 有 以 下 两 种 : 
@ 网 络 生长 ”此 时 从 较 小 规模 的 多 层 感 知 器 出 发 着 手 完成 所 要 完成 的 任务 , 仅 当 无 法 满 
足 实际 指标 要 求 时 才 增 加 一 个 神经 元 或 一 个 新 的 隐 层 。 
o 网 络 截 取 ”此 时 从 一 个 具有 适当 性 能 的 大 规模 多 层 感 知 器 出 发 完成 现 有 任务 ,然后 通 
过 有 选择 或 按 顺 序 地 删除 一 些 不 可 靠 的 连接 权 值 的 方式 来 缩小 网 络 规模 。 
尽管 这 两 种 方法 都 用 在 实际 中 ,但 可 以 肯定 地 说 ,在 目前 的 实际 应 用 中 网 络 截取 更 流行 。 
本 节 ,我 们 将 阐述 所 谓 权 值 删除 方法 (Weigend et al. ，1991)。 其 目的 是 为 了 找 出 一 组 权 向 
量 Ww,; 使 总 风险 . 
Rw) = E(w) + rA’.(w) (17.59) 
最 小 , 式 中 第 一 项 名 .(w) 是 标准 性 能 测度 , 它 取 决 于 网 络 ( 模 型 ) 和 输入 数据 。 在 反 向 传播 学 习 
中 ,通常 将 名 ,(w) 定 义 为 均 方 误差 ,其 计算 遍布 网 络 的 输出 神经 元 并 对 所 有 的 训练 数据 进行 。 
第 二 项 6,(w) 是 复杂 度 惩罚 。 它 只 取决 于 网 络 ( 模 型 )。%.(w) 的 计算 限于 网 络 的 连接 权 值 。 
在 权 值 删除 法 中 ,复杂 度 怎 罚 定义 为 


é(w) = > (ap (17.60) 
° ial 1 + (w/w) i 


式 中 w, 是 该 方法 指定 的 一 个 自由 参数 ,w, 表示 网 络 的 第 i 个 连接 权 值 。 集 合 ! 表示 网 络 的 所 
有 连接 。 各 个 惩罚 项 以 对 称 的 形式 随 w/w, 的 变化 而 变化 ,如 图 17.7 所 示 。 我 们 应 该 区 别 对 
待 两 种 不 同 的 限制 条 件 : 


9 Hiwi < mw, 时 ,对 第 i 个 权 值 的 复杂 度 惩罚 (代价 ) 趋 于 零 。 这 个 条 件 意味 着 :就 人 们 
所 关心 的 基于 训练 数据 的 学 习 而 言 ,第 i 个 连接 权 值 是 不 可 靠 的 ,因此 应 该 将 它 从 网 络 
中 删除 。 . 

© 当 |w; | >> w, 时 ,对 第 i 个 权 值 的 的 复杂 度 惩罚 (代价 ) 趋 于 最 大 值 1, 这 意味 着 w, 对 于 
反 向 传播 学 习 过 程 是 很 重要 的 。 


(wi /wo)? 
1 + (wi/wo)? 





0 Wo 


图 17.7 复杂 度 惩罚 函数 
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式 (17.59) 中 的 参数 A 是 调整 参数 。 当 ) 等 于 零 时 , 反 向 传播 学 习 过 程 是 无 约束 的 。 在 这 
种 情况 下 ,网 络 完 全 由 第 17.3 节 中 所 述 的 复数 和 实数 形式 的 训练 数据 所 决定 。 相 反 , 当 4 趋 
于 无 穷 大 时 ,由 复杂 度 惩罚 所 加 的 约束 自身 就 足以 确定 该 网 络 。 这 从 男 一 方面 说 明了 该 训练 
数据 是 不 可 靠 的 ,因而 应 该 忽略 。 在 权 值 截取 方法 的 实际 应 用 中 ,正则 化 参数 为 介 于 这 两 个 极 
限 值 之 间 的 某 个 值 。 

因此 ,从 借助 于 反 向 传播 算法 设计 的 多 层 感 知 器 出 发 ,选择 一 个 适合 于 研究 中 特定 任务 的 
正则 化 参数 4, 网络 就 通过 使 式 (17.59) 定 义 的 总 风险 咏 (w) 最 小 方式 来 截取 。 显 然 ,最 小 化 过 
程 中 的 计算 量 与 网 络 规模 密切 相关 。 当 然 , 最 终 目 标 是 使 网 络 复杂 度 与 用 于 网 络 训练 的 物理 
数据 所 隐 含 的 复杂 度 紧密 匹配 。 


17.6 瞬 态 处 理 : 如 何 考 虑 “时 间 ” 


如 图 17.3 所 示 的 常规 多 层 感 知 器 结构 ,很 适合 于 自 适应 空间 滤波 (如 波束 形成 )。 为 了 将 
这 种 神经 网 络 应 用 推广 到 自 适应 瞬 态 滤波 (如 回音 消除 ) ,需要 考虑 时 间 , 它 是 学 习 的 本 质 方 
面 。 为 此 ,有 以 下 四 种 不 同方 式 (Haykin，1999): 


1. 在 多 层 感 知 器 输入 层 中 以 抽 头 延迟 线形 式 般 入 一 个 短 时 存储 结构 ,由 此 得 到 的 网 络 称 
为 集中 时 延 前 馈 网 络 (TLFN ,focused time-lagged feedforward network) o 

2. 将 时 延 引 入 多 层 感 知 器 内 ,在 网 络 中 一 层 一 层 地 向 前 拓展 ,使 得 隐 层 和 输出 层 神 经 元 
跨 时 重复 ;得 到 的 网 络 称 为 时 延 神经 网 络 (TDNN ,time-delay neural network) o 

3. 用 有 限 脉 冲 响应 (FIR) 滤 波 器 代替 多 层 感知 器 中 的 权 值 ,由 此 得 到 的 网 络 称 为 分 布 式 
时 延 前 馈 网 络 (TLFN , distributed time-lagged feedforward network) o 

4, 在 围绕 多 层 感知 器 中 应 用 反馈 ,在 网 络 中 一 层 一 层 地 向 后 返回 ;由 此 得 到 的 网 络 称 为 
递归 多 层 感 知 器 (RMLP, recurrent multiplayer perceptron) 


”此 处 ,把 我 们 的 注意 力 集中 于 第 1 种 网 络 结构 上 。 
考虑 图 17.8, 它 是 图 17.3 中 的 简单 多 层 感 知 器 的 再 现 ,但 具有 一 个 髓 入 在 输入 层 的 抽 头 
延迟 线 。 用 ul(n) 表 示 输 入 信号 , 则 这 个 网 络 可 以 写 为 


xP = u = u(n) 


xP =u = uļln-— 1) 


和 
xP = u, = u(n — 2) 
对 于 有 N 个 信 源 节点 的 多 层 感知 器 ,推广 这 个 结果 , 可 继续 写 出 
xO su,=u(n-j) jf=O,1,...,N 7-1 wap 17-61) 







有 了 这 些 按照 输入 信号 un) SRA RL SE OS SKA, TT 
表 17.1 的 复 反 向 传播 算法 或 表 17.2 所 示 的 实 反 向 传播 算法 。 特 别 地 ,多 层 感知 器 的 权 信 

一 个 样本 一 个 样本 地 调整 ,使 得 输入 数据 序列 Ce) Cn 1) ，. wn — N- DERI 
y(n) 与 相应 的 期 望 响应 d(n) 之 间 的 误差 平方 最 小 化 。 给 定 个 样本 组 成 的 一 RRE) 


a 


Oe 
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属于 时 间 步 长 n=N.,Not+l,....K+ No -1), 包 含 在 这 些 样本 中 的 信息 被 转移 并 存储 在 网 
络 的 连接 权 值 中 。 注 意 ,对 于 第 一 个 样本 ,选择 n= No 以 保证 网 络 输入 层 填 满 该 样本 的 输入 
数据 ,而 且 类 似 情 况 也 发 生 在 所 有 相继 样本 中 。 





HAMN] = 3 
的 隐 层 


图 17.8 集中 时 延 前 馈 网 络 (TLFN) 框 图 


现在 ,我 们 如 何 确 定 训 练 数据 规模 kK 的 大 小 呢 ? 遗憾 的 是 ,对 于 这 个 确定 ,尚未 见 到 能 够 
以 可 靠 方 式 工作 的 严格 的 公式 。 不 过 ,可 以 使 用 在 实践 基础 上 得 到 的 一 个 经 验 法 则 :给 定 总 可 
调整 参数 ( 即 权 值 和 偏 置 ) 矿 , 训 练 数据 规模 的 一 个 合适 选择 是 K=10W。 


17.7 反 向 传播 学 习 的 优点 和 局 限 性 


反 向 传播 算法 之 所 以 成 为 多 层 感 知 器 监督 训练 的 工具 (“workphorse”) ,是 因为 它 具 有 下 列 
优良 性 质 : 


1. 该 算法 提供 了 解决 信用 分 配 问题 (eredit-assignment problem) 的 一 种 巧妙 方法 。 信 用 分 配 
问题 是 指 隐 层 神经 元 承担 多 层 感知 器 输出 层 所 测 误 差 信 号 应 尽 的 一 份 责任 。 尽 管 这 
些 神经 元 是 物理 上 不 可 接 入 的 ,从 而 无 法 利用 其 各 自 输出 的 期 望 响应 ,但 是 该 算法 通 
过 沿 着 网 络 一 层 一 层 地 反 向 传播 误差 信号 来 弥补 这 个 缺点 。 

2. 该 算法 的 计算 复杂 度 是 线性 的 ,因为 运算 量 ( 即 乘法 和 加 法 次 数 ) 是 以 多 层 感 知 器 中 可 
调整 参数 ( 权 值 和 偏 置 ) 阶 数 为 基础 的 。 
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3. 该 算法 提供 了 相对 于 可 调 参数 多 层 感知 器 误差 性 能 梯度 计算 的 最 优化 方法 。 
4. 反 向 传播 算法 对 于 扰动 是 鲁 棒 (robust) 的 ,因为 如 同 LMS 算法 一 样 , 它 能 使 8” 准则 最 
小 化 。 


性 质 1 到 性 质 3 可 直接 从 推导 反 向 传播 算法 的 第 17.3 节 介 绍 的 内 容 中 得 出 。 关 于 算法 
鲁 棒 性 的 性 质 4 的 数学 证 明 ,可 参见 相关 文献 [Hassibi 和 Kailath(1995)]。 
正 是 由 于 这 四 个 独特 的 性 质 , 使 得 反 向 传播 算法 不 仅 成 为 设计 多 层 感 知 器 的 工具 ,而 且 成 
为 与 其 他 监督 类 训练 算法 比较 的 基准 。 然 而 , 反 向 传播 算法 的 一 个 主要 局 限 是 它 收敛 到 性 能 
误差 曲面 的 局 部 或 全 局 最 小 点 的 速率 较 慢 。 这 一 局 限 是 由 于 算法 完全 依靠 一 阶 信息 [ 即 性 能 
误差 曲面 关于 多 层 感 知 器 的 可 调整 参数 ( 权 值 ) 的 梯度 ] 造 成 的 。 
可 用 来 提高 算法 收敛 (学 习 ) 速 率 的 方法 有 如 下 两 种 : 
1. 扩展 算法 学 习 过 程 ,使 之 包括 Hessian 和 矩阵。 这 里 的 Hessian 矩阵 定义 为 性 能 误差 曲面 
对 可 调整 参数 的 二 阶 偏 导数 (Ngia & Sjöberg, 2000), 
2. 以 广义 卡尔 曼 滤 波 器 为 基础 构造 多 层 感 知 器 的 监督 训练 算法 (Puskorius & Lee, 2001)。 
广义 卡尔 曼 滤 波 的 推导 见 第 10 章 。 


自然 ,这 两 种 方法 的 构造 方式 完全 不 同 ,但 是 它们 有 一 个 共同 的 特点 : 二 者 都 利用 了 二 阶 
信息 ,这 正 是 改进 学 习 过 程 收敛 特性 的 关键 因素 。 





17.8 本 章 小结 


正如 LMS 算法 是 线性 自 适应 滤波 器 的 工具 一 样 , 反 向 传播 算法 是 神经 网 络 的 重要 工具 。 
反 向 传播 算法 的 实现 相对 简单 ,因而 成 为 当今 设计 神经 网 络 最 流行 的 算法 。 尤 其 是 , 它 为 获取 
包含 在 训练 数据 中 的 信息 并 将 其 存储 在 网 络 连接 权 值 中 , 提供 了 一 个 强 有 力 的 工具 。 只 要 用 
于 训练 网 络 的 数据 集 足 够 大 而 且 代 表 了 网 络 工作 环境 ,那么 一 旦 训练 过 程 结 束 ,网 络 就 具备 了 
“ 泛 化 "能 力 。 特 别 地 , 当 从 同一 输入 空间 中 抽取 新 的 测试 数据 作为 训练 数据 输入 该 网 络 时 , 它 
能 给 出 “ 令 人 满意 ”的 性 能 。 

由 包含 一 个 或 多 个 隐 层 的 前 馈 网 络 构 成 的 多 层 感 知 器 ,通常 是 一 个 与 反 向 传播 算法 结合 
在 一 起 使 用 的 神经 网 络 。 多 层 感知 器 已 成 功 地 应 用 于 众多 的 工程 领域 中 。 按 照 所 实现 任务 的 
功能 ,可 以 将 这 些 应 用 分 类 如 下 : 


e 模式 分 类 (识别 ) 

e 预测 建 模 

e 控制 
多 层 感 知 器 能 从 其 工作 环境 中 学 习 的 能 力 得 益 于 这 些 各 具 特 色 的 应 用 。 

反 向 传播 学 习 是 有 监督 学 习 的 一 个 例子 ,之 所 以 叫 监督 学 习 是 因为 期 望 响 应 (目标 信号) 
在 训练 数据 中 起 着 “教师 ”的 作用 。 这 里 值得 注意 的 一 个 重要 问题 是 ,这 个 学 习 过 程 本 质 上 是 
一 个 统计 随机 过 程 。 这 一 随机 特性 源 于 神经 网 络 的 工作 环境 。 最 终结 果 表 明 , 网 络 仅仅 是 表 
达 有 关 环 境 经 验 知识 的 一 种 形式 。 在 研究 学 习 过 程 中 遇 到 的 困难 有 两 个 方面 : 


1. 神经 网 络 是 非 线 性 的 ,这 使 得 学 习 过 程 的 详细 统计 分 析 成 为 一 项 颇具 挑战 性 的 工作 。 
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2. 在 神经 网 络 中 ,有 关 环 境 的 知识 由 网 络 中 自由 参数 值 (连接 权 值 和 偏 置 值 ) 来 表示 ;以 
这 种 方式 存储 在 网 络 中 的 知识 的 分 布 特性 有 助 于 解释 这 一 难题 。 


最 后 ,从 计算 的 观点 看 , 反 向 传播 算法 的 特点 是 收敛 速率 慢 。 当 要 求 完 成 一 项 大 型 任务 


时 ,这 个 问题 就 变 得 尤为 严重 。 这 时 ,我 们 再 次 想起 它 与 LMS 算法 的 相似 之 处 , 即 慢 的 收敛 速 
率 。 为 了 加 快 收敛 ,需要 以 某 种 方式 在 性 能 误差 曲面 中 加 入 二 阶 信息 来 修正 这 个 学 习 算 法 。 


17.9 习题 


1. 


考虑 如 下 非 线性 函数 : 
(a) 9(x) = -去 f exp(-5) di 
(b) p(x) = = tan(x) 


试 说 明 为 什么 这 两 个 函数 都 满足 适合 万 能 逼近 定理 要 求 的 激活 函数 的 特性 。 并 说 明 它 们 
之 间 的 区 别 。 


. 通常 对 动量 常数 a 赋予 0< a <1 区间 内 的 一 个 正 值 , 试 证 明 也 可 以 对 动量 常数 a F 


-1<a<0 区 间 内 的 一 个 负 值 。 





. 在 用 反 向 传播 算法 训练 多 个 隐 层 多 层 感 知 器 时 ,通常 建议 对 网 络 的 不 同 层 使 用 不 同 的 学 习 


速率 参数 。 试 说 明 应 该 如 何 合 理 地 选择 该 参数 。 


. 用 如 下 形式 的 离散 Volterra 模型 


u(n) = D avn 一 让 十 > > av(n — Dv(nom))) + 


产生 一 个 时 间 序 列 , 式 中 a;,@;,.. .是 Volterra 系数 ,”(n) 是 白 高 斯 噪声 序列 的 样 值 ,vx(m) 
是 模型 的 输出 。 利 用 一 个 神经 网 络 ,实现 这 个 Volterra 模型 ,使 之 满足 下 列 条 件 : 

(a) 线性 项 具有 对 应 于 i = 1,2,3 的 系数 。 

(b) 二 次 项 具有 对 应 于 i,j=1,2 的 系数 。 

(e) 三 次 项 和 所 有 高 阶 项 都 为 零 。 


. 对 于 随机 模型 复杂 度 , 式 (17.59) 定 义 的 风险 久 具 有 类 似 于 最 小 描述 长 度 准 则 (MDL) ,参见 


第 1 章 。 试 讨论 两 者 之 间 的 联系 。 


. 在 第 15 章 中 ,我 们 讨论 了 用 基于 Laguerre 的 时 延 网 络 作为 常规 横向 滤波 器 的 一 个 替代 。 


(a) 按照 该 章 介绍 的 思想 ,表示 如 图 17.8 所 示 的 基于 Laguerre 的 多 层 感知 器 形式 。 
(b) 假设 使 用 实数 据 , 讨 论 如 何 将 表 17.2 的 反 向 传播 算法 应 用 于 这 一 新 的 神经 网 络 结构 。 


后 it 


正如 序言 中 指出 的 ,本 书 的 主要 目的 是 对 监督 方式 学 习 的 线性 自 适应 滤波 器 给 出 “详细 、 
全 面 的 论述 "。 "线性 "这 个 术语 系 指 所 有 可 调整 参数 固定 时 ,滤波 器 服从 春 加 原理 。 包 含 在 第 
2 章 到 第 15 章 的 材料 、 辅 以 概述 本 书 主 题 的 “背景 和 预览 "一 章 、 关 于 离散 时 间 随 机 过 程 和 模 
型 的 第 1 章 以 及 附录 A 到 附录 G 的 支持 ,充分 说 明了 属于 自 适应 系统 学 科研 究 分 支 的 线性 自 

本 书 的 其 余 两 章 , 即 描述 育 反 卷 积 的 第 16 章 和 反 向 传播 学 习 的 第 17 章 ,初步 介绍 了 自 适 
应 系统 的 另外 两 个 方面 :无 监督 自 适应 反 卷 积 和 非 线性 自 适 应 滤波 。 

这 个 后 记 的 目的 是 拓展 本 书 的 范围 ， 以 使 读者 对 自 适应 系统 有 一 个 更 加 完整 的 概念 。 考 
虑 到 这 个 目的 ,我们 选择 了 如 下 五 个 讨论 专题 : 


@ 比例 式 自 适应 (proportionate adaptation) 

o 鲁 棒 统 计 特 性 (robust statistics) 

@ 盲 源 分 离 (blind source separation) 

o 递归 神经 网 络 (recurrent neural networks) 
© 非 线 性 动力 学 (nonlinear dynamics) 


选择 这 五 个 专题 的 动机 是 它们 的 实际 重要 性 和 各 自 丰 富 自 适应 系统 的 方法 。 
比例 式 自 适应 


由 稀疏 可 测 数据 表征 的 非 平 稳 系 统 在 实际 中 经 常 遇 到 。 例 如 ,考虑 电话 网 络 中 的 回音 消除 
问题 。 典 型 地 ,网 络 中 的 一 条 回音 路 径 长 为 64 ms 到 128 ms。 然 而 ,回音 路 径 的 活 牙 部 分 仅 有 4 ms 
至 8 ms 长 ,其 余 是 回音 消除 器 与 局 部 环 路 之 间 相 对 比较 平坦 的 时 延 引 起 的 不 活路 部 分 。 遗 憾 的 
是 ,这 段 平坦 时 延 的 实际 持续 时 间 是 未 知 的 , 随 电话 从 一 个 呼叫 到 另 一 个 呼叫 而 变化 。 

基于 归 一 化 LMS 算法 的 传统 自 适 应 回音 消除 器 ( 见 第 6 章 ) ,并 未 利用 网 络 中 回音 路 径 的 
稀 琉 特性 。 在 这 种 情况 下 ,如 同 其 他 自 适 应 滤波 算法 一 样 , 归 一 化 LMS 算法 没有 从 它 自身 以 
前 的 计算 结果 中 学 习 的 能 力 。 

为 了 克服 归 一 化 LMS 算法 的 这 一 局 限 性 ,Duttweiler(2000) 引 入 了 比例 式 自 适应 的 思想 ,在 
此 基础 上 形成 了 比例 式 归 一 化 最 小 均 方 (PNLMS, proportionate normalized least-mean-square ) 算 
法 。 在 这 个 新 算法 中 的 每 个 抽 头 权 值 (滤波 系数 ) 被 赋予 它 拥有 的 步 长 ,这 些 步 长 利用 以 前 的 
估 值 按照 如 下 规则 进行 计算 : 

其 自 适应 特性 是 这 样 体现 的 ,即使 回声 消除 器 的 大 抽 头 权 值 大 体 上 与 前 一 个 循环 估计 的 

回声 路 径 的 冲 激 响应 的 幅度 成 正比 。 ， 


从 直观 上 讲 , 这 一 修正 有 助 于 使 活跃 的 (大 ) 抽 头 权 值 比 不 活跃 的 (小 或 数值 为 零 ) 抽 头 权 
值得 到 更 快 的 调整 。 因 此 , 当 回 声 消除 器 的 抽 头 权 值 收敛 到 网 络 回声 路 径 的 稀疏 脉冲 响应 时 ， 
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回声 消除 器 的 有 效 滤 波 器 长 度 就 变 得 越 来 越 短 , 从 而 有 助 于 收 化 和 跟踪 特性 。 
可 以 用 下 述 方程 式 来 描述 处 理 实数 据 的 基本 PNLMS 算法 (Duttweiler, 2000; Benesty et al. , 
2001) 


~ 





Wn +1) = W(n) + Gu) zz Gn)u(n)e(n) (1) 
e(n) = d(n) — Wi (n)u(n) (2) 


如 前 ,4(m) 是 期 望 响应 ,a(n) 是 抽 头 输入 向 量 , 镶 (") 是 抽 头 权 向 量 ,e(n) 是 误差 信号, 产 是 步 长 
参数 ,6 是 调整 参数 。PNLMS 算法 与 归 一 化 LIMS 算法 的 不 同 之 处 在 于 更 新 方程 (1) 中 含有 对 角 矩 
阵 G(n)。G(m) 的 对 角 元 素 [用 goln), er (nm)，.… ,gw-i(m) 表 示 ] 按 照 如 下 递归 关系 式 进行 计算 


Ymin — P max(6,, ln), ute lnla) (3) 
y(n) = max (Ymin; [wln)|) k= 0, 1, ee.’ M-1 (4) 
gdn) = Yh) _ k=0,1,...,M—1 
1% (5) 
M Dyn) 
k=0 


式 中 M 是 滤波 器 的 长 度 ,o 和 6, 分 别 是 其 典型 值 为 p = 5/M 和 5, =0.01 的 正常 数 。 式 (3) 定 义 

的 yu 包含 在 PNLMS 算法 中 ,以 便 防 目 抽 头 权 值 如 (nm) 远 小 于 回音 消除 顺 最 大 抽 头 权 值 时 发 生 

(迭代 ) 停 顿 。 参 数 5, 的 功能 是 在 所 有 抽 头 权 值 都 置 为 零 这 个 初始 化 情况 下 ,调整 y(n)[ 由 式 

(4) 定 义 ] 的 计算 。PNLMS 仅 比 归 一 化 LMS 算法 复杂 大 约 50% ,但 它 不 需要 附加 的 存储 要 求 。 
然而 ,PNLMS 算法 也 有 一 些 缺 点 (Gay，1998) : 


© 在 回音 消除 器 中 大 抽 头 权 值 快速 初步 收敛 后 ,其 余 的 小 抽 头 权 值 将 以 比 归 一 化 LMS 算 
法 更 慢 的 速率 进行 自 适 应 。 

© 如 果 网 络 回音 路 径 的 脉冲 响应 发 生 色散 ,或 它 由 几 个 稀 琉 脉冲 响应 构成 , 则 PNLMS 算 
法 以 远 低 于 归 一 化 LMS 的 速率 收敛 。 


一 种 改进 型 PNLMS 算法 , 即 PNLMS ++ 算法 ,通过 在 抽 头 权 值 更 新 过 程 中 联合 使 用 归 一 化 
LMS 和 PNLMS 两 种 算法 来 弥补 这 些 不 足 。 结 果 是 ,这 个 自 适 应 滤波 算法 以 接近 于 两 种 算法 
( 归 一 化 LMS 算法 和 PNLMS 算法 ) 中 较 快 的 那个 速率 收 仿 和 跟踪 。 此 外 ,PNLMS ++ 算法 的 计 
算 复杂 性 和 存储 要 求 不 高 于 PNLMS 算法 。 


鲁 棒 统计 特性 


在 第 5 章 和 第 9 章 中 ,我 们 研究 了 按照 确定 性 最 大 误差 最 小 化 准则 的 常规 LMS 算法 和 
RLS 算法 的 鲁 棒 性 。 该 处 介绍 的 研究 方法 基于 能 量 增益 的 概念 , 它 定义 为 由 某 一 算法 产生 的 
估计 误差 能 量 与 加 到 该 算法 的 外 部 扰动 能 量 之 比 。 若 能 量 增益 小 于 1, 我 们 就 说 该 算法 具有 
鲁 棒 性 。 在 此 基础 上 ,我们 证 明了 LMS 算法 一 般 比 RLS 算法 更 鲁 棒 。 

存在 自 适 应 滤波 算法 鲁 棒 人 性 的 另 一 种 方法 , 它 本 质 上 是 随机 的 。 按 照 文 献 (Huber，1981) ， 
如 果 算 法 的 性 能 不 会 因 其 产生 的 估计 误差 的 实际 概率 密度 函数 稍为 偏离 假设 模型 的 概率 密度 
函数 而 恶化 ,我 们 就 说 该 算法 具有 重 棒 性 。 
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从 第 8 章 我 们 知道 , 当 假 设 估计 误差 是 白 高 斯 噪声 时 ,最 小 二 乘 方 法 与 最 大 似 然 估 计 等 
效 。 而 且 在 这 一 假设 下 ,最 小 二 乘 估计 就 是 理想 的 最 小 方差 无 偏 估计 ,这 正 是 人 们 所 期 望 的 特 
性 。 然 而 遗憾 的 是 , 当 无 法 预计 的 大 噪声 出 现时 ,对 高 斯 噪声 模型 来 说 为 最 佳 的 算法 ,并非 能 
满意 地 进行 。 这 为 我 们 提供 了 为 什么 在 某 些 特定 条 件 下 递归 最 小 二 乘 (RLS) 算 法 呈现 非 鲁 棒 
性 能 的 另 一 个 原因 。 

为 了 使 RLS 算法 具有 重 棒 性 ,我们 必须 使 用 另 一 种 根本 上 不 同 于 第 9 音 所 采用 的 代价 函 
数 。 特 别 地 ,我 们 从 估计 误差 的 次 高 斯 模型 或 超 高 斯 模型 出 发 ,考虑 一 种 依赖 于 感 兴趣 应 用 的 
新 的 代价 卫 数 。 而 第 9 章 导 出 的 常规 RLS 算法 具有 一 般 的 适应 性 ,但 不 能 保证 其 鲁 棒 性 能 , 重 
棒 RLS 算法 的 应 用 只 限于 特定 类 的 非 平稳 环境 。 

在 Benesty 和 Ginsler(2001) 的 文献 中 ,通过 考虑 超 高 斯 概率 密度 函数 (pdf) 导 出 了 网 络 回 
音 消除 中 用 到 的 鲁 棒 RLS 算法 


1 MX 
fx(x) = L exp(—In( cosh (=))) 
1 (6) 
~ 2cosh(xx/2) 
SUP SAAT 227 BN OM 1. fx (ae) Gx 的 关系 曲线 如 图 1 所 示 。 图 中 还 包括 一 条 曲线 ， 
其 对 应 的 函数 为 归 一 化 高 斯 pdf 


2 
FP) = Ge ewr(-5) 0) 
它 的 均值 和 方差 也 分 别 为 0 和 1。 从 图 1 RITAR fi O REE (9° OK. 
式 (6) 中 定义 的 pdf fi() 提 供 了 重 棒 自 适应 六 波 算法 的 基础 ,这 是 由 于 如 下 两 个 原因 : 
。 与 高 斯 pa 的 情况 不 同 ,in(J(4)) 的 一 阶 偏 导数 是 有 界 的 ,由 此 造成 鲁 裕 和 韭 重 裕 算法 
的 所 有 差异 
大 (z) 的 峰 度 大 于 Rio (x) 的 , 故 将 记 (x) 称 为 超 高 凑 pdf。 由 于 回声 消除 是 感 兴趣 的 应 
用 ,因此 fi(*) 很 适合 于 建 模具 有 超 高 斯 分 布 的 语音 信号 。 


为 了 推导 对 网 络 回音 消除 具有 重 棒 性 的 RLS 算法 ,Benesty 和 Ginsler(2001) 将 代价 函数 定义 为 


J(n) = (27 ) (8) 








式 中 . 

n(n) = d(n) — Wn)u(n) (9) 
是 先 验 估计 误差 , s(n) 是 一 个 标 度 因 子 估 值 , 它 是 为 了 使 鲁 棒 算法 不 受 噪 声 电 平 影响 而 引入 
Ho RX p 定义 为 

p(x) = In(cosh(x)) 


-nla (2)) ao 


它 是 一 个 凸 函数 。 算 法 的 组 成 涉及 两 项 计算 : 
® 定义 为 代价 函数 J(n) 对 w(n - 1) 一 阶 偏 导数 的 梯度 向 量 
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© 定义 为 代价 函数 J(n) 对 w(n - 1) 二 阶 偏 导数 的 Hessian 矩阵 


概率 密度 函数 
f(x) 








图 1 比较 两 个 概率 密度 函数 : 实 线 是 根据 式 (7) 定 义 的 高 斯 
函数 /0 (x) ,虚线 是 式 (6) 定 义 的 超 高 斯 函数 f(x) 


然后 ,应 用 来 源 于 递归 最 小 二 乘 估计 的 某 些 概念 ,Benesty 和 Ginsler(2001) 导 出 了 和 鲁 棒 RLS 
算法 及 其 计算 复杂 度 随 滤波 器 长 度 M 呈 线 性 变化 的 快速 型 算法 。 重 棒 RLS 算法 包含 第 9 章 
的 常规 RLS 算法 作为 一 个 特例 。 

图 2 比较 了 双向 语音 通话 时 和 鲁 棒 和 非 鲁 棒 RIS 算法 的 性 能 。 远 端 说 话 者 是 男声 , 近 端 说 
话 者 是 女声 , 且 远 端 - 近 端 信号 功率 比 为 6 dB。 由 图 可 见 , 即 使 使 用 双向 通话 检测 器 (DTD dou- 
ble-talk detector) ,因为 DTD 的 反应 不 够 快 , 非 鲁 棒 RLS 算法 仍 会 发 散 , 而 鲁 棒 RLS 算法 仅仅 是 
失调 略 有 增加 。 

此 处 对 统计 和 鲁 棒 性 的 简短 讨论 中 获得 的 信息 是 ,如 果 对 某 种 应 用 和 鲁 棒 性 具有 实际 重要 性 ， 
我 们 应 该 特别 关注 估计 误差 统计 模型 乃至 代价 函数 的 构成 方法 。 


育 源 分 离 
HIRA (blind source separation)2 的 目的 是 为 了 对 混合 器 输出 端 形 成 的 一 组 观测 值 ( 测 


量 值 ) 进 行 操 作 , 以 便 估 计 出 加 到 混合 器 输入 端的 信 源 信号 。 盲 源 分 离 和 盲 反 卷 积 是 相互 有 关 
的 问题 ,因为 给 定 一 个 盲 源 分 离 算 法 ,就 存在 一 种 方法 ,可 将 盲 源 分 离 算 法 转化 为 盲 反 卷 积 算 


O ”有关 非 卷 积 和 卷 积 育 源 分 离 许 多 方面 的 深信 探 讨 , 可 参见 Haykin(2000) 编 辑 的 两 册 书 和 由 Hyvarinen、Karhumen 和 
0ja(2001) 关 于 这 一 主题 撰写 的 教科 书 。 l 


. % (Douglas & Haykin, 2000). 














1000 
0 
其 
E 
—1000 
L i i i i i i i i i 
20000 0.5 1 1:5 2 2.5 3 3.5 4 4.5 S 
x 104 (a) 远 端 信号 
2 E aj T T Te T 








幅度 




















一 2 1 | 1 L 1 L 

0 0.5 1 1.5 2 2:5 3 35 4 4.5 5 
(b) 近 端 信号 

T T T T T T T T T T 

10 F 、 a 
= | : : \ 

Sok | t : \ J 

BE | 3 \ 
#10 iy | x 4 

> | ， ‘S 
-20 - A AE = ns | 
[一 一- i i = i i Biase 
0 0.5 1 1.5 2 2.5 3 3:5 4 4.5 5 
时 间 ( 秒 ) 


(c) 由 两 种 RLS 算 法 产生 的 失调 : 由 Benesty 和 Ginsler(2001) 提 出 的 鲁 棒 RLS 算 
法 得 到 的 曲线 用 实 线 表 示 ， 常 规 非 鲁 棒 RLS 算 法 得 到 的 曲线 用 虚线 表示 


图 2 双向 通话 检测 问题 


考虑 图 3(a) 给 出 的 多 输入 多 输出 (MIMO) 混 合 器 。 在 混合 器 的 输入 端 , 有 一 组 独立 的 信 
源 , 它 发 送信 号 s(n), ss《(n),..., su(n)。 在 混合 器 的 输出 端 是 一 组 传感器 ,产生 观测 值 
ww《(n),w(n),...,un(n)。 要 求 是 拆 开 这 个 混合 过 程 ,以 全 可靠 地 估计 原来 的 信 源 信号。 

盲 源 分 离 出 现在 各 种 应 用 中 :诸如 阵列 信号 处 理 、 去 除 生物 神经 信号 中 各 种 人 为 干扰 、 助 
听 器 设计 、 金 融 市 场 数据 分 析 等 。 盲 源 分 离 的 解决 取决 于 以 下 五 个 方面 的 问题 : 


(i) ”混合 器 是 线性 的 ,还 是 非 线性 的 。 

Gi) 混合 器 是 固定 的 ,还 是 时 变 的 。 

(iii) 混合 操作 是 非 卷 积 ( 即 无 记忆 ) 的 ,还 是 卷 积 的 。 
Civ) 传感器 是 无 噪 的 ,还 是 含 噪 的 。 

(v) ARE M 与 传感器 数 N 之 间 的 关系 如 何 ? 


最 简单 的 情况 出 现在 混合 器 为 线性 和 无 记忆 、 传 感 器 为 无 噪 且 N= M 时 ;此 时 , 可 写 出 
u(n) = As(n) | a1) 
式 中 A 是 标量 系数 组 成 的 M x MM 矩阵 ,s(n) 和 u(n) 分 别 为 


s(n) = [si(n), s(n), ..., y(n) ]" 
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u(n) = [u (n), u(n), u(r) | 
在 这 种 情况 下 ,u(n) 的 每 个 分 量 是 信 源 信号 的 线性 组 合 。 如 果 和 矩阵 A 非 奇异 ( 即 可 道 ), 则 除 
了 每 个 信号 分 量 的 任意 标 度 和 下 标的 排序 这 两 个 无 关 紧 要 的 修改 外 ,可 能 恢复 原来 的 信 源 信 
号 。 因 此 ,可 以 将 这 一 理想 的 解 , 即 解 混 器 (demixer) 的 输出 表示 为 
y(n) = Wu(n) = WAs(n) > DPs(n) (12) 
式 中 的 W 是 表征 解 混 器 的 M x M 权 值 矩阵 ,DD 为 对 角 阵 ,P 为 排序 阵 。N = M 的 解 混 器 框图 
如 图 3 所 示 。 
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@ 未 知 环 境 言 源 分 离 框图 





(b) 从 观测 值 中 恢复 原来 信 源 信号 的 系统 框图 
图 3 N= M 的 解 混 器 框图 


各 种 无 监督 学 习 算法 设计 用 来 求解 盲 源 分 离 问 题 ?。 所 有 这 些 算法 的 基础 是 组 成 反差 函 
数 ( contrast function) (Comon, 1994; Cardoso , 2000; Comon & Chevalier,2000), 它 把 言 分 离 问 题 看 做 是 
一 个 最 优化 问题 。 在 严格 的 意义 上 ,可 把 反差 函数 定义 为 解 混 器 输出 y(n) 的 概率 密度 函数 ,只 
要 给 定 具 有 如 下 重要 特性 的 观测 向 量 u(n):; 反 差 负 数 的 极 小 点 定义 了 解 混 器 的 权 值 矩阵 。 

反差 函数 的 一 个 例子 是 Kullback-Leibler 发 散 性 ,用 D1;(W) 表 示 , 它 是 由 解 混 器 权 值 矩阵 





O FY FSAI WA) Herault, Jutten 和 Ans(1985) 的 创新 性 论文 。 强 调 这 个 问题 中 信号 处 理 作用 的 富有 远见 的 评述 , 见 
Cardoso( 1998) 、Amari 、Cichocki、Yang(2000) 以 及 Hyvärinen, Karhunen 和 Oja(2001) 等 的 论文 。 
信息 论 为 盲 源 分 离 算法 的 研究 与 发 展 握 供 了 强 有 力 的 基础 。 这 个 方法 的 发 展 动因 是 由 其 问题 的 本 性 决定 的 ;有 关 这 
方面 的 更 详细 论述 , 见 Comon(1994) , Bell 和 Sejnowski(1995) Comon 和 Chevalier (2000) 以 及 Principe 等 (2000) 的 论文 。 
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W 参数 化 的 如 下 两 种 分 布 之 间 区 别 的 度量 : 


© 解 混 器 输出 的 概率 密度 函数 fy Cy, W) 
e 相应 的 阶乘 分 布 


M ~ 
W) = IT fv.) (13) 


式 中 f(y,,W) 是 解 混 器 输出 y 的 第 i 个 分 量 的 边际 概率 密度 函数 。 

该 问题 的 Kullback-Leibler 发 散 性 可 定义 为 多 重 积分 

Driy(W )= a fyly, W )n( wD) dy (14) 

实际 上 ,上 式 可 看 做 对 学 习 算法 强加 的 约束 ,人 迫使 它 与 fy(y, W) AHR A fy (y, W) ELBE. 
根据 式 (14) , Kullback-Leibler 发 散 性 Day (WÈ W 的 一 个 非 目 函数。 因此 , 言 源 分 离 问题 的 解 
可 通过 寻找 Dni;(W) 的 极 小 点 而 获得 。 

当 混 合 过 程 的 基础 物理 现象 使 用 卷 积 模型 ( 建 模 ) 时 , 讶 源 分 离 问题 就 变 得 很 复杂 。 这 一 
情况 出 现在 许多 实际 的 多 传感器 应 用 中 ,例如 : 


© 远程 电信 会 议 环境 ,此 时 信和 号 是 在 一 个 带 有 回音 的 房间 中 由 多 个 声 源 同 时 产生 的 。 
@ 数字 通信 场合 ,此 时 多 个 发 射 机 工作 在 同一 无 线 频段 ,并 由 多 个 天 线 接 收 这 些 发 射 信和 号 
的 混合 物 。 
为 了 调节 这 些 卷 积 环境 下 信 源 信号 的 分 离 , 解 混 器 必须 带 有 自身 的 存储 单元 ,从 而 使 育 源 分 离 
算法 的 设计 复杂 化 (Lambert & Nikias, 2000; Torkkola, 2000; Hyvärinen et al., 2001). 


递归 神经 网 络 


对 于 采用 神经 网 络 的 暂 态 信 号 处 理 ,可 通过 在 多 层 感知 器 的 输入 层 嵌 人 短 时 存储 器 (如 通 
过 一 个 抽 头 延迟 线 ) ,以 直接 方式 计算 时 间 ,如 第 17 章 所 述 。 计 算 时 间 的 另 一 个 重要 方法 是 使 
用 反馈 ,正如 动态 驱动 的 递归 神经 网 络 中 那样 (Haykin，1999) 。 
这 一 网 络 的 动态 特性 可 由 复合 方程 对 
x(n + 1) = Fx((n), u(n)) (15) 
和 
y(n) = C(n)x(n) (16) 
来 描述 , 式 中 下 是 一 个 用 来 表征 多 层 感知 器 隐 层 神经 元 激活 特性 的 非 线性 向 量 值 函数 ,un ) 
是 已 知 的 外 部 输入 向 量 ,x(n) 是 隐 状 态 ,C(n) 是 表征 网 络 输出 层 的 权 值 矩阵 。 由 式 (15) 和 式 
(16) 描 述 的 状态 空间 模型 来 源 于 现代 控制 论 (Sontag, 1990)。 以 这 种 方式 描述 的 递归 神经 网 络 
的 一 个 重要 特性 是 , 它 能 够 逼近 范围 广泛 的 一 类 非 线 性 动态 系统 。 特 别 地 ,网 络 具有 泛 化 非 线 
性 动态 输入 数据 的 能 力 ,这 在 此 前 没有 见 到 过 。 
图 4 示 出 状态 空间 模型 的 通用 实现 ,该 模型 是 以 带 有 两 组 延迟 单元 (其 中 一 组 在 反馈 ile 
E, 另 一 组 在 输出 路 径 上 ) 的 多 层 感 知 器 为 基础 构成 的 。 这 个 模型 称 为 递归 多 层 感知 器 , 它 
现 出 丰富 而 复杂 的 动态 特性 。 训 练 这 种 神经 网 络 的 流行 算法 是 实时 递归 学 习 (RTRL,realLtime 
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recurrent leaming) 算 法 (Williams & Zipser, 1989; Haykin, 1999), RTRL 算法 的 推导 ,通过 最 小 化 
均 方 误差 准则 并 以 类 似 于 LMS 算法 的 方式 进行 期 望 值 瞬时 估计 来 完成 。 图 5 给 出 基于 RTRL 
算法 的 网 络 结构 , 它 由 两 个 输入 ( 信 源 ) 节 点 、 三 个 隐 神 经 元 和 一 个 输出 神经 元 组 成 。 该 网 络 是 
全 连接 的 ,由 一 个 级 联 的 输入 输出 层 和 一 个 处 理 层 组 成 。 











处 理 隐 层 和 
输出 神经 元 


前 馈 和 反馈 
连接 


级 联 输入 输 
x(n) 出 层 





图 5 RTRL 神 经 网 络 结构 :前 馈 连 接 代表 由 RTRL 算法 训练 的 权 值 


RTRL 算法 编码 简单 ,但 遗憾 的 是 其 计算 复杂 度 随 N ON 是 网 络 中 的 神经 元 总 个 数 ) 增 长 。 
为 了 解决 有 理论 意义 和 实用 价值 的 非 线 性 信号 处 理 问题 , RTRL 算法 通常 要 求 N 取 很 大 值 ,这 也 
使 得 它 很 难 在 维持 网 络 实时 工作 所 能 接受 的 短 时 间 内 获得 统计 意义 上 很 小 的 估计 误差 。 

为 了 克服 计算 难题 ,可 使 用 流水 线 递 归 神 经 网 络 (PRNN, pipelined recurrent neural network) 
(Haykin & Li,1995)。PRNN 由 若干 个 相同 的 递归 模块 级 联 组 成 ,每 一 个 模块 由 可 调 权 值 矩阵 W 
表征 ,如 图 6 所 示 。 当 N=4 时 ,其 内 部 结构 如 图 5 所 示 。PRNN 中 最 后 一 个 模块 包含 了 一 个 附 
加 反馈 路 径 , 以 使 输入 层 规模 与 所 有 其 他 模块 相同 。 本 质 上 ,能 够 通过 “分 而 治之 ”的 工程 原理 改 
善 PRNN 的 计算 效率 。 为 了 初始 化 PRNN 的 权 值 矩阵 W, 将 监督 训练 方法 应 用 于 网 络 的 一 个 模 
块 。 为 了 进行 这 种 训练 ,可 采用 RTRL 算法 。 通 过 使 用 基于 广义 RLS 算法 的 学 习 算法 ,可 获得 快 
速 收敛 率 (Mandic et al., 1998; Mandic & Chambers, 1999), J" RLS 算法 在 第 14 章 讨论 过 。 
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图 6 流水 线 递归 神经 网 络 (PRNN) 框 图 


非 线性 动态 系统 :无 导数 状态 估计 


式 (15) 和 式 (16) 的 状态 空间 模型 是 图 7 所 示 的 更 通用 模型 的 一 个 特例 。 在 这 个 模型 中 ， 
过 程 方程 和 测量 方程 分 别 定义 为 





过 程 方程 测量 方程 
图 7 非 线性 状态 空间 模型 的 一 般 化 框图 


x(n) = F(n, x(n — 1), u(m)) + vi(n) (17) 

和 
y(n) = Cln, x(n)) + va(n) (18) 
式 中 了 和 C 是 时 变 向 量 值 函数 。 如 前 ,x(n) 表 示 状 态 ,u(z) 为 外 加 的 输入 向 量 。 为 了 推广 该 
状态 空间 模型 ,我 们 在 模型 中 引入 过 程 噪 声 v (=m) 和 测量 噪声 mw (nm) ,二 者 都 假设 是 白 噪 声 ; 
做 这 样 的 假设 是 为 了 简化 叙述 。 过 程 品 声 y (z) 充 当 模型 动态 特性 的 驱动 力 。 为 了 求解 式 
《17) 和 式 (18) 所 述 的 非 线性 估计 问题 ,使 用 广义 卡尔 曼 滤 波 器 (EKF, extended Kalman filter)。 
从 第 10 章 已 经 知道 ,这 个 滤波 器 是 非 线 性 估计 问题 解 的 一 阶 近似 。 可 通过 使 用 和 迭代 EKF, 来 
改善 基本 EKF 的 性 能 ,其 做 法 是 将 改进 的 参考 轨迹 引信 估计 中 (Jazwinski, 1970; Maybeck, 
1982)。 和 迭代 滤波 器 的 基本 思想 是 ,一 旦 生成 滤波 状态 估计 ,就 将 这 个 值 当做 比 计算 测量 方程 
时 预测 状态 更 好 的 一 个 状态 估计 。 不 过 ,对 于 实际 的 非 线 性 状态 模型 ,计算 中 会 引入 可 观 的 误 
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差 , 它 将 限制 EKF 及 其 迭代 型 在 求解 非 线 性 滤波 难题 中 的 应 用 。 

在 本 节 我 们 将 简要 阐述 一 种 新 的 非 线性 滤波 算法 , 即 无 轨迹 卡尔 受 滤波 器 (UKF , unscented 
Kalman filter) (Julier et al., 1995; Julier & Uhlmann，1997) 的 一 些 基 本 概念 。 这 个 新 的 滤波 器 比 
广义 卡尔 曼 滤波 器 (EKF) 更 受 欢迎 ,因为 它 具 备 以 下 两 个 重要 特性 : 

1) 当 过 程 误 差 和 测量 误差 以 及 先 验 状态 均 为 高 斯 分 布 时 ,UKF 可 精确 到 三 阶 。 对 于 非 高 

斯 分 布 的 情况 , UKF 至 少 可 精确 到 二 阶 。 因 此 ,UKF 可 提供 优 于 EKF 的 性 能 。 

2) 与 EKF 不同 ,UKF 不 需要 计算 线性 化 过 程 方程 和 测量 方程 的 雅 可 比 (Jacobian) 和 矩阵 。 

因此 ,在 实现 方面 ,UKF 比 EKF 更 简单 。 

构造 无 轨迹 卡尔 曼 滤 波 器 的 基础 是 无 轨迹 变换 。 为 了 导出 这 种 变换 ,考虑 一 个 Mx1l 随 
机 向 量 x, 经 如 下 的 非 线性 变换 后 得 到 一 个 N x 1 随机 向 量 y 

y = f(x) (19) 

式 中 人 是 一 个 任意 数 向 量 值 非 线 性 函数 。 给 定 x 的 均值 向 量 和 协 方差 矩阵 ,要 求 是 确定 相应 
于 y 的 均值 向 量 和 协 方差 矩阵 。 取 决 于 如 何 定义 随机 向 量 x 和 y, 这 一 变换 的 结果 能 够 应 用 
于 图 7 中 非 线性 状态 空间 模型 的 过 程 方程 (17) 或 测量 方程 (18)。 

考虑 对 式 (19) 的 变换 ,对 其 进行 参数 化 设计 ,以 满足 下 述 原 理 (Julier & Uhlmann, 1997): 

e 随机 向 量 x 的 均值 向 量 和 协 方差 符 阵 中 包含 的 信息 在 某 种 意义 上 可 由 无 轨迹 变换 精确 

地 捕获 , 它 允 许 这 个 信息 以 计算 上 有 效 的 方式 通过 非 线 性 方程 (19) 传 播 。 

这 一 要 求 ,可 通过 生成 一 组 2M + 1 个 sigma 向 量 {x1 六 得 到 满足 ,其 中 每 个 向 量具 有 M 维 。 
第 一 个 向 量 x BA x 的 均值 。 其 余 的 2M 个 向 量 从 如 下 矩阵 平方 根 


+(V(M + A)K); i=1,2,...,2M (20) 
的 列 中 获得 , 式 中 K 是 向 量 x 的 协 方差 矩阵 , 且 
A=aX(M+xK«)-M (21) 


是 一 个 标 度 参 数 ( Wan & van der Merwe, 2000). #7 3K a 决定 sigma 点 围绕 向 量 x 均值 的 扩散 程 
度 , 典 型 地 ,将 它 置 为 0.001 < a < 工区 间 内 一 个 小 的 正 数 。 常 数 k 是 第 二 个 标 度 参 数 , 它 通常 置 
为 0, 这 种 选择 在 状态 估计 时 工作 得 很 好 。 然 而 在 参数 估计 时 , 选 为 3 - NON 为 状态 空间 的 维 
数 ) 会 更 好 些 。 正 如 后 面 将 要 证 明 的 那样 ,无 轨迹 卡尔 曼 滤 波 器 还 引入 常数 8, 它 将 x 分 布 的 
先 验 知识 考虑 在 内 ;例如 ,对 于 高 斯 分 布 ,8 = 2 是 一 个 最 优选 择 。 

从 式 (20) 定 义 的 区 的 平方 根 得 到 的 2M 个 向 量 都 具有 相同 的 协 方差 矩阵 ,但 其 均值 为 零 。 
只 要 在 这 2M 个 向 量 的 每 一 个 向 量 中 加 上 x 的 均值 , 即 可 生成 具有 所 期 望 均 值 和 协 方差 的 一 
个 对 称 的 向 量 组 (由 2M 个 向 量 组 成 )。 于 是 ,均值 修正 过 的 2M + 1 个 sigma Aly; 17% ATER 
性 函数 f 处 理 后 ,产生 对 应 的 一 组 N 维 向 量 , 这 组 向 量 可 用 来 估计 非 线性 变换 后 向 量 y 的 均值 
和 协 方差 矩阵 。 特 别 地 ,我 们 可 使 用 Wan 和 van der Merwe(2000) 提 出 的 加 权 样 本 均值 


2M 
y = Š Wwy, (22) 
i=0 


和 加 权 样 本 协 方差 


2M 
K, = Swi(y, - yy, - 7)” (23) 


i=0 
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式 中 
Y, = g(x,) (24) 
是 sigma Ay, 经 非 线性 函数 传播 后 的 结果 ,加 权 因 子 W 定义 为 
wi = —2 (25) 
9 M+A 
WP =~ + (1-0? + 8) (26) 
和 
(m) wl) — 1 _ 
Wi™ = WP = 3 FN i=1,2,...,2M (27) 


W 中 的 上 标 m 表示 平均 , WO 中 的 上 标 c 表示 协 方差 。 
作为 例子 ,考虑 一 个 二 维 随机 向 量 x, 它 使 用 一 个 随机 选择 权 值 的 神经 网 络 , 经 过 非 线 性 
变换 后 产生 一 个 新 的 向 量 y。 图 8 示 出 由 三 种 不 同 的 计算 方法 得 到 的 结果 : 


© 由 Monte Carlo 模拟 得 到 的 真实 均值 和 协 方 差 传播 情况 , 如 图 中 左边 所 示 ,作为 评估 的 
基准 。 
o 用 线性 化 方法 (类 似 于 广义 卡尔 曼 滤波 器 中 使 用 的 方法 ) 得 到 的 均值 和 协 方差 传播 情 
Oi, 如 图 的 中 间 所 示 ,其 中 矩阵 A 由 非 线性 函数 了 的 局 部 线性 化 得 到 。 
”9 使 用 无 轨迹 变换 得 到 的 均值 和 协 方差 传播 情况 , 如 图 中 右边 所 示 。 就 所 讨论 的 例子 而 
A, 它 有 五 个 sigma 点 ,其 中 一 个 点 用 于 计算 均值 y, 其 余 的 点 用 于 计算 协 方差 矩阵 K, 。 


实际 ( 取样 ) 线性 (EKF) 无 线索 变换 (UT) 
| 协 方差 sigma 点 
Vo: 
© 
均值 


© 
| 4 
5 =f) eer 
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这 幅 图 清楚 地 表明 无 轨迹 变换 的 性 能 优 于 线性 化 方法 。 
对 于 含 加 性 噪声 的 式 (17) 和 式 (18) 中 非 线性 状态 空间 模型 ,无 轨迹 卡尔 曼 滤 波 器 就 是 无 
轨迹 变换 的 直接 推广 ,如 表 1 所 总 结 (Wan & van der Merwe, 2001). 


R1 无 轨迹 卡尔 曼 滤 波 器 小 结 


BR: 
MARAS x(n) 的 维 数 

NN: 观测 值 y(n) 的 维 数 

a :小 的 正常 数 ,用 来 确定 围绕 状态 x(n) 均 值 的 sigma 点 的 分 布 
6: 对 状态 x(m) 的 分 布 引 人 先 验 知识 的 参数 

x: 第 二 个 标 度 参数 ,通常 取 为 零 





A=@0(M+«)—-M 

















A 
wir = 
0 M+A 
A 
(c} + 24 
Wo = yay te +8) 
À 
wir = Wh j= a. 
i i 2(M + A) i= 1,2,...,2M 


Q: THRE v (ma) 的 协 方差 矩阵 ,假设 为 零 均值 
Q: 测量 噪声 y(n) 的 协 方差 矩阵 ,假设 为 零 均 值 
R: 输入 向 量 u 的 协 方差 矩阵 ,假设 为 零 均 值 
F,C: 已 知 的 向 量 值 非 线 性 函数 

初始 化 : 

人 (0) = E[%(0)] 

K(0) = E[(x(0) — &(0))(x(0) - 人 (0))] 
计算 : 
对 n=1,2,..., 完 成 如 下 计算 : 

1. sigma 点 
Xo( — 1) = x(n - 1) 
x(n — 1) = &(2 — 1) + (V(M + AK — 1)); i= 1,2,...,2M 
其 中 (VY (M+ A) Kn -1)); 为 矩阵 平方 根 的 第 ; 列 
2. 时 间 更 新 
x(nin — 1) = F(x(n ~ 1), u(n)) i=0,1,...,2M 





2M 
&(n|n - 1) = SWi”x(n|n - 1) 
i=0 


2M 
K(a|n ~ 1) = DW x (nin -= 1) - &(n|n — 1)Xx(aln - 1) - ĉ(n|n - 1)" + Q, 


¥(n|n — 1) = C(x,(n[n — 1)) i=0,1,...,2M 
yin 1) = S WPY (nin — 1) 


i=0 


3. 测量 更 新 





2M 
K,,(n) = SWIX (nln = 1) = Hain = Ynn 1) — §(n|[n - 1))" + Q 


2M 
Ky(n) = È Wi Xsan — 1) — nn- Yalan — 1) - $aln— DY 
G(n) = K,,(n)K;}(”) 
R(n) = &(nin — 1) + G(n)(y(n) — ¥(n\n — 1)) 
K(n) = K(n|n — 1) 一 G(n)K,,(n)G4(n) 
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表 中 计算 过 程 分 为 三 步 : 


1) sigma 点 的 计算 。 

2) 基于 sigma 点 并 考虑 到 系统 动态 特性 影响 的 时 间 更 新 。 

3) 考虑 到 观测 值 影响 的 测量 值 更 新 ; 表 中 最 后 三 个 式 子 从 第 10 章 基本 卡尔 曼 滤波 器 理 

论 得 出 。 

为 了 简化 表 中 的 记号 ,我 们 已 经 稍为 偏离 了 第 10 章 所 用 的 记号 ; 例如 ,我 们 使 用 
全 (| 一 1) 表示 已 知 直到 n -1 时 刻 数据 时 对 n 时 刻 的 估计 ,等 等 。 

需要 重新 指出 的 一 点 是 ,无 轨迹 卡尔 曼 滤 波 器 是 一 种 无 导数 状态 估计 器 (derivative-free 
state estimator) , 因为 它 通过 使 用 多 重 前 向 传播 ,避免 了 雅 可 比 (Jacobian) 和 海 森 (Hessian) 和 矩阵 
(二 者 都 涉及 偏 导数 ) 的 显 式 计算 ,这 意味 着 可 微 非 线 性 函数 不 再 是 必要 的 要 求 ,这 是 无 轨迹 卡 
尔 曼 滤波 器 优 于 广义 卡尔 曼 滤 波 器 的 另 一 表现 。 

无 轨迹 卡尔 曼 滤 波 器 的 计算 复杂 性 一 般 是 0(42)(MN 是 状态 的 维 数 )。 然 而 ,在 某 些 特 殊 
条 件 下 (例如 参数 估计 ,包括 神经 网 络 的 训练 ) ,能 够 构造 出 计算 复杂 性 为 0(M? ) 的 算法 。 





© Norgaard, Poulsen & Ravn(2000) 描 述 了 非 线 性 动态 系统 中 无 导数 状态 估计 的 另 一 种 方法 ,后 来 称 为 NPR- 卡 尔 曼 滤波 
器 。 在 这 个 新 方法 中 ,当前 状态 估 值 附近 的 线性 化 泰勒 级 数 展开 式 ,被 所 选 长 度 区 间 上 通 近 某 一 非 线 性 函数 的 
Stirling 内 插 公式 所 代替 ;从 而 ,可 把 要 选择 的 量 直 接 看 做 设计 过 程 的 一 部 分 。Stiting 内 插 公式 用 来 计算 两 个 其 他 
内 插 ( 前 向 和 后 向 Newton-Gauss 内 插 ) 的 平均 (Wylie & Barret, 1982). 
Feldkamp 等 (2001) 已 将 简化 型 NPR- 卡 尔 曼 滤 波 带 [其 计算 复杂 性 为 0( 儿 )j] 应 用 于 监督 训练 的 递归 多 层 感 知 带 。 
而 且 报 道 了 类 似 应 用 情况 下 新 方法 优 于 广义 卡尔 曼 滤波 器 之 处 ， 
。 以 每 个 延迟 为 基础 的 超 快 速 训练 
。 不 断 获得 进一步 改进 的 最 终 解 


附录 A 复 变量 


本 附录 对 复 变量 理论 做 简要 的 回顾 。 在 本 书 正文 所 述 内 容 的 范围 内 ,所 用 的 复 变量 是 与 
z 变换 有 关 的 变量 z。 我 们 首先 回顾 复 变 量 解析 函数 的 定义 ,然后 导出 一 些 重要 定理 ,这 些 定 
理 构 成 了 复 变量 的 重要 课题 0。 


A.1 柯 西 - 黎 曼 方程 


考虑 一 个 复 变 量 
z=x+jy 
其 中 x 是 z 的 实 部 ,y 是 z 的 虚 部 。 我 们 提出 这 样 一 个 域 , 在 这 个 域 中 ,用 复 变量 z 描绘 z 域 。 
设 了 f(z) 定义 了 复 变 量 z 的 一 个 函数 , 记 为 
w= f(z)=ut+jv 

如 果 在 z 域 的 某 一 给 定 区 域 上 ,每 个 z 值 对 应 一 个 w 值 , 则 说 函数 w = F(z) 是 单 值 函数 。 如 果 
一 个 z 值 对 应 多 个 w 值 , 则 说 函数 w = f(z) 为 多 值 函 数 。 

假设 当 x 一 xo H y 一 yo 时,z 域 中 点 z= 0 + jy UTE zo = xo + Yoo 在 点 z= zo 的 邻 
域内 定义 z 的 一 单 值 函 数 f(z)。zo 的 邻 域 就 是 以 zo 为 中 心 的 一 个 足够 小 的 圆 形 区 域内 所 有 
点 的 集合 。 令 

lim f(z) = w 

特别 地 ,如 果 f(zo) = wo, MPR f(z) TEA z = zo 连续 。 

f(z) 由 它 的 实 部 和 虚 部 表示 为 

F(z) = u(x, y) + jv(x, y) 

当 f(z) 在 点 zo = xo + Pro 连续 时 , 它 的 实 部 和 虚 部 , 即 w(x,y) 和 ola, y), TEM (C xo, yo) ALARE 
连续 函数 ,反之 亦 然 。 

如 果 w = f(z) 在 z 域 某 一 范围 内 的 每 一 点 处 都 连续 , 则 用 复 变 量 w 和 z 来 分 别 描述 它们 
各 自 的 域 , 称 为 w 域 和 z 域 。 而 且 ,z 域 的 点 (x,y) 通 过 关系 w = f(z) 对 应 w 域 的 点 (4,v)。 

考虑 增 量 转换 Az ,使 得 点 zo + Az 可 位 于 zo 邻 域内 的 任何 地 方 ,函数 在 该 处 有 定义 。 我 们 
可 以 定义 f(z) 在 点 z= z 关于 z 的 导数 为 


(A.1) 





f'(zo) = jim, Az 


显然 ,要 使 F(z。) 有 惟一 值 ,必须 使 得 式 (A.1) 中 的 极限 值 与 Az 趋 于 零 的 路 径 无 关 。 
要 使 f(z) TERA z= x + 六 有 惟一 导数 , 它 的 实 部 和 虚 部 必须 满足 一 定 条 件 。 令 





”对 复 变 量 理 论 更 详细 的 讨论 ,参见 Guillemin(1949)、Levinson 和 Redheffer(1970) . Wylie 和 Barrett( 1982)。 
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w = f(z) = u(x, y) + jv(x, y) 
其 中 Aw = Au + jAv H Az = Ax + jAy 时 ,我 们 可 以 写 
PO = Jim, ne AD 
-1 Au + jAv 
p aro Ax + jAy 
假设 我 们 通过 先 令 ,Ay 一 0, 再 令 Ax 一 0 来 使 Az 一 0, 在 这 种 情况 下 ,Az 是 纯 实 数 。 则 由 式 
(A.2) 可 得 





(2) = lim GE + iA 
f'(2) 加 jim, Ax +j Ax 
ðu , ðv (A.3) 
= -一 十 /一 
Ox Ox 


假设 我 们 通过 先 令 ,Ax 一 0, 再 令 Ay 一 0 来 使 Az-*0, 在 这 种 情况 下 ,Az 是 纯 虚 数 。 此 时 ,由 式 
(A.2) 可 得 


, Av .Au 
f(z) = jim, Ay / Ay 
_ dv au (A.4) 
oy lay l 


要 使 导数 P(z) 存 在 , 式 (A.3) 和 式 (A.4) 必 须 相 等 ,因此 要 求 
ou 和 并 


Ox tj əx Oy oy 
令 虚 部 和 实 部 分 别 相 等 ,可 得 如 下 两 个 关系 式 


au _ av 


ax oy (A.5) 
ov _ _ ou 
Ox oy (A.6) 


式 (A.5) 和 式 (A.6) 称 为 柯 西 - 歼 曼 (Cauchy-Riemann) 方 程 。 我 们 是 通过 研究 Az 一 0 的 无 穷 多 条 
路 径 中 的 两 条 得 出 这 个 等 式 。 要 使 沿 其 他 路 径 计 算出 的 Aw/Az 也 趋 近 于 了 f(z), 只 要 再 满足 
一 个 条 件 , 即 式 (A.5) 和 式 (A.6) 中 的 偏 导数 在 点 (*,y) 连 续 。 换 句 话 说 ,如 果实 部 ula, y) HE 
部 v(x,y) 及 其 一 阶 偏 导 在 点 (x,Yy) 处 连续 , 柯 西 - 黎 曼 方程 就 是 复 函 数 w= u(x,y) +jp(x,Y) 
在 点 (x,Yy) 处 可 导 的 充 要 条 件 。 

UR PAR f(z) 在 点 z = zo 及 zy 邻 域内 的 每 一 点 都 可 导 , 则 说 f(z) 在 z 点 处 解析 ,或 称 同 
态 ;zo 称 为 f(z) 的 正则 点 。 如 果 函 数 f(z) 在 点 zo 处 不 解析 ,而 在 zo 的 邻 域内 解析 , 则 称 zo 为 
f(z) 的 奇 点 。 


A.2 柯 西 积分 公式 


f(z) 是 复 变量 z 的 任 一 连续 函数 ,解析 或 非 解 析 。% 是 连接 z 域 点 4 = z。 和 B= z 的 一 段 
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光滑 曲线 。 假 设 曲线 6 被 点 z 分 为 n 个 小段 ASi ,k=1,2,...,n 一 1, 如 图 A.1 所 示 。 图 中 还 
标 出 了 AS, 段 上 的 任意 一 点 ,用 来 描述 一 小 段 长 度 Az 的 弧 。 因 此 可 以 认为 和 是 
Draf (Azo SA BK n KFA Az, 趋 于 零 ,f(z) 沿 路 径 名 的 线 积分 可 用 上 述 和 式 的 极 
限 值 来 定义 , 即 


$f = lim, Esa (A.7) 


在 特殊 情况 下 , 当 点 4 ALA BB 重合 且 % 为 一 闭 曲线 时 , 式 (A.7) 中 的 积分 就 是 围 线 积分 , 记 为 
$e f(z)dz。 注 意 , 对 于 此 处 描述 的 概念 , 沿 闭 曲线 的 积分 是 逆 时 针 方 向 。 


y 





图 A.1 分 段 光滑 路 径 
f(z) 是 给 定 区 域 吕 上 的 解析 函数 ,导数 f(z) 在 这 里 连续 。 线 积分 fe f(z)dz 与 区 域 人 上 
连接 任意 两 点 的 路 径 % 无 关 。 如 果 路 径 8 是 闭 曲 线 , 则 积分 值 为 零 。 这 样 得 到 柯 西 积分 定理 ， 
表述 如 下 : 
POR BK f(z) 在 区 域 纲 内 解析 , 则 f(z) 在 区 域 凡 内 洛 闭 曲 线 & 的 围 线 积分 是 零 。 即 


$ f(z) a =0 (A.8) 
柯 西 积分 定理 在 解析 函数 的 研究 中 有 重要 作用 。 柯 西 定理 的 一 个 重要 结果 是 柯 西 积分 公式 。 


f(z) 在 单 连通 区 域内 部 和 边界 6 上 解析 。zo 是 & 内 部 的 任 一 点 。 柯 西 积 分 公式 表述 如 下 
_ 1 f f(z) 
fl) = 355 APEE (A.9) 
其 中 , 沿 % 线 的 积分 是 逆 时 针 方 向 的 。 
柯 西 积分 公式 根据 解析 函数 f(z) 沿 边界 % 的 积分 值 来 表示 其 在 内 部 点 z 处 的 函数 值 。 
由 这 个 公式 ,直接 导出 f(z) 的 各 阶 导数 值 为 
n! f(z) 
F(Z) = ¢ ( yn dz (A.10) 


2nj Z — Zo 








XE, (29 FE f(z) 在 点 z= zo 处 的 = 阶 导数 。 式 (A.10) 由 式 (A.9) 对 zo 求 导 得 出 。 
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柯 西 不 等 式 
假设 边界 6 包含 了 一 个 以 zo 为 中 心 半 径 为 z 的 圆 。 利 用 式 (A.10) 计 算 fA" (zo) 的 幅 值 ， 
可 以 写 出 
29] = f coe a oe ee 
an | Je (z — zo) ie 
i s i (A.11) 
S r peti Yr fiaz = pai 2 nr = n! y" 
式 中 , 是 成 z) 沿 6 积分 的 最 大 值 。 不 等 式 (A.11) 称 为 柯 西 不 等 式 。 
A.3 罗 朗 级 数 


RBM f(z) 在 图 A.2 所 示 环 形 区 域 及 其 边界 解析 。 该 区 域 由 两 个 同心 圆 @ Me 组 成 ， 
其 共同 中 心 为 zo。 令 点 z= zo + 在 环形 区 域内 部 ,如 图 所 示 。 根 据 罗 朗 级 数 (Laurent series) 


flzo +h) = 2 a, hk (A.12) 
其 中 ,对 不 同 的 ,系数 为 
1 f(z) dz E 
f D 


Qnj g z= zo) 
a, = (A.13) 
1 f(z}dz ec 
Qn} A (z M zy > 人 
注意 ,f(z) 在 z 点 的 罗 朗 展开 式 为 l 
f(z) = 2 a,(z — zo) (A.14) 


大 = 一 co 





A.2 环形 区 域 


当 所 有 负 指 数 项 的 系数 为 零 时 , 式 (A. 14) 可 简化 为 泰勒 级 数 (Taylor series) 





622 自 适应 滤波 器 原理 


| f(z) = Žal- zo) (A.15) 
根据 式 (A.10) 和 式 (A.13) 的 第 一 行 ,可 定义 系数 
a, = a) k = 0,1,2,... (A.16) 
泰勒 级 数 是 下 文 所 讨论 的 刘 维 尔 定理 (Liouville's theorem) 的 基础 。 


刘 维 尔 定理 


复 变量 z 的 函数 扰 z) 有 界 且 在 所 有 z 点 处 解析 ,根据 定 刘 维尔 定理 , f(z) 为 一 常数 。 
为 了 证 明 这 个 定理 ,首先 注意 到 f(z) 在 z 域 处 处 解析 ,可 将 其 在 原点 处 展开 为 素 勒 级 数 
œ f(k) 
fz=> pio) z (A.17) 


E k! 


AC. 17) HERBS, AUT ea f(z). WREE RAAB EA rE 2 
后 调用 柯 西 不 等 式 (A,11) ,可 得 





If(0)| < kiM, (A.18) 


r 
RE, M, 是 f(z) 在 边界 € 上 积分 所 得 的 最 大 值 。 相 应 地 , 式 (A.17) 中 的 备 级 数 展开 式 , 其 第 k 
个 系数 值 被 限定 于 





(A.19) 








7 
这 里 , E|) 的 最 大 值 。 根 据 假设 ,M 是 存在 的 , 它 是 从 式 (A.19) 导 出 的 。 对 于 半径 为 无 穷 大 
的 情况 ,有 
(A.20) 
相应 地 , 式 (A.17) 简 化 为 

f(z) = f(0) = 常数 
这 就 是 刘 维 尔 定理 的 证 明 。 


函数 f(z) 在 z 域 处 处 解析 , 称 其 为 整 函数 。 因 此 , 刘 维 尔 定理 可 以 表述 如 下 (Wylie & 
Barrett ,1982 ) : 


对 = 的 所 有 取 值 ,有 界 整 函 数 为 常数 。 
A.4 FARA 


z= zo 是 解析 函数 f(z) 的 一 个 奇 点 。 如 果 f(z) 在 点 z= zo 的 邻 域 内 没有 其 他 奇 点 , 则 称 
该 奇 点 z = zo 为 扳 立 奇 点 。 在 孤立 奇 点 的 邻 域内 ,函数 /(z) 可 展开 为 如 下 罗 朗 级 数 
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fle) = > alz- z) 
= Šak =z) + Dale = zo) (A.21) 
= $ adz — zo) + > = 
k=0 k=1 (z 一 Zo) 


在 孤立 奇 点 z= zo 邻 域内 f(z) 的 罗 朗 展开 式 的 系数 a PW f(z) fe z= a 处 的 留 数 。 计 算 解 
MERRIA F, 留 数 起 着 重要 作用 。 将 丰 = - 1 代入 式 (A.13), 可 得 留 数 c_, 和 函数 
用 z) 积 分 之 间 的 关系 式 


1 


f(z)dz (A.22) 


下 面 ,考虑 两 种 重要 情况 : 


1) f(z) 的 罗 朗 展开 式 包含 元 穷 多 项 z- z 的 负 寡 次 方 ,如 式 (A.21)。 点 z- zo 称 为 f(z) 
的 本 性 奇 点 。 
2) f(z) 的 罗 朗 展开 式 最 多 包括 mz - Zo 的 负 短 次 , 即 


ay a a 


-` _ ,.)k veep oom 
f(z) = 2 az Zo) + Z-z + (2 — z) tot (z — x)” (A.23) 





根据 后 面 的 描述 , 称 z= zz 为 f(z) 的 m BRA. SSA ET AY PR ABR f(z) 
在 z= zo 点 的 主 部 。 
注意 , 当 极 点 z= zo 是 m 阶 极点 时 ,极点 的 留 数 由 下 式 给 出 
1 qm m 
a = (mt a I = Z0)"F (2) l-z (A.24) 
实际 上 ,通过 利用 这 个 公式 ,可 以 不 必 导 出 罗 朗 级 数 。 当 阶 数 m = 1 时 ,该 极点 称 为 单 极 点 。 
式 (A.24) 简 化 为 单 极点 留 数 公式 


a = lim (z — zo)f (2) (A.25) 


A.5 柯 西 留 数 定理 


z 域 的 闭 曲线 8 包 含 了 函数 成 z) 的 多 个 孤立 奇 点 。 设 zsz... Z 定义 了 这 些 奇 点 的 位 
置 。 以 这 些 奇 点 为 圆心 做 一 足够 小 的 圆 ,使 其 不 包含 A z) 的 其 他 奇 点 ,如 图 A.3 所 示 。 初 始 
边界 和 这 些小 圆 一 起 组 成 了 多 连通 区 域 的 边界 。 在 这 个 区 域 中 ,f(z) 处 处 解析 。 因 此 ,可 以 
应 用 柯 西 定理 。 特 别 地 ,对 图 中 的 情况 ,可 以 写 出 


1 1 1 
og $ F(z) ae +35 frod tetz frod -0 (A.26) 


注意 ,沿边 界 € 的 积分 路 径 是 正方 向 ( 即 逆 时 针 方 向 ) ,而 沿 各 小 圆 的 积分 路 径 是 负 方 向 ( 即 顺 
时 针 方 向 )。 
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假设 反 转 图 中 各 小 圆 的 积分 方向 ,相当 于 将 式 (A.26) 中 沿 各 小 圆 的 围 线 积分 取 负 值 。 因 
此 ， EN ,的 所 有 积分 都 取 为 逆 时 针 方 向 时 , 式 (A.26) 可 写 为 


1 
2j L ffod = maj PI dz 十 … 十 ra Oke (A.27) 


根据 定义 , 式 (A.27) 右 边 的 积分 即 为 函数 f(z) 在 边界 《内 各 个 孤立 奇 点 的 留 数 。 因 此 ,可 以 得 
到 f(z) 沿 边界 8 的 积分 为 


frod = 2nj $ Res(f(2), za) (A.28) 


其 中 ,Res(f(z),z) 表 示 f(z) 在 孤立 奇 点 z =z, 的 留 数 。 式 (A.28) 称 为 柯 西 留 数 定理 。 一 般 来 
说 ,在 函数 理论 中 这 个 公式 非常 重要 ,尤其 是 定 积分 的 计算 。 





图 A.3 多 连通 域 


A.6 ARE 


考虑 一 复 函 数 f(z) ,其 特征 如 下 : 


1) 函数 f(z) 在 闭 曲 线 % 的 内 部 除了 在 有 限 个 极点 处 不 解析 外 ,在 其 他 地 方 处 处 解析 。 
2) F(z) 在 闭 曲线 @ 上 无 零 . 极 点 。 所 谓 零 点 , 即 z 域 中 f(z) =0 的 点 。 相 反 , 所 谓 极点 即 
f(z) = %m 的 点 。N 是 f(z) 在 边界 8 内 部 零点 的 个 数 ,而 尸 是 极点 个 数 ,这 里 对 每 个 零 


点 或 极点 的 计数 已 考虑 其 多 重 性 。 
于 是 ,有 如 下 定理 (Levinson & Redheffer, 1970; Wylie & Barrett, 1982) 
i pg _ 
2nj Se fla) dz=N-P (A.29) 


AE MERR ORE As) 的 导数. 注意 到 
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d -f2 
qz BS) = F(z) dz 
A In 表示 自然 对 数 , 从 而 有 
FO) dz = nflzjle = Inlf(2)he + j arg f(z)le (A.30) 
e f(z) 


HRI) IER f(z) 的 幅 值 ,argf(z) 表 示 f(z) NA. RC A.30) EAEE, ,而 且 对 
数 函 数 Inf ( 2) AE ARE PBK ,边界 6 为 闭 曲 线 , 故 有 


ACOP 
P F(z) dz = jarg f(z)le (A.31) 
将 式 (A.31) 代 入 式 (A.29) ,可 得 
N-P= arg f(a)le (A.32) 


这 个 结果 是 式 (A.29) 所 述 原 理 的 另 一 种 表达 形式 , 称 为 幅 角 原理 (principle of the argument) 。 

为 了 几何 解释 幅 角 原理 , 设 € 是 z 域 的 闭 曲 线 ,如 图 A.4(a) 所 示 。 当 z 沿边 界 @ 以 道 时 针 
方向 运动 时 , w = f(z) 在 w 域 的 运动 轨迹 为 边界 @' 。 为 了 便于 说 明 ,%@ 也 示 于 图 A.4(b) 中 。 
在 w 域 ,从 原点 到 点 w =f(z) 做 一 直线 ,如 图 A.4(b) 所 示 。 这 条 直线 与 图 中 水 平 线 的 夹 角 0 
为 arg f(z)。 幅 角 原 理 给 出 了 当 复 变量 z 沿边 界 @ 逆 时 针 运 动 时 ,点 w = 了 (z) 在 w 域 绕 原点 
( 即 点 w =0) 旋 转 的 周 数 。 


Zz 
g 
6 


(a) z 域 边界 所 (b) w 域 边界 ©’ ,这 里 w=f (z) 
图 A.4 幅 角 原理 示意 图 





fe BK EB 


函数 f(z) FEA RCRA RT. g( RI KBRK. EM SC) REN ERSTE, AT 
在 边界 8 上 还 满足 如 下 条 件 
If(z)l > lez) I 
换血 话说 ,在 边界 《上 
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83(z) 








f(z) <1 (A.33) 
定义 函数 
_ 1 £) 
F(z) =1+ Fz) (A.34) 
此 函数 在 8 上 无 零点 或 极点 。 对 F(z) 应 用 幅 角 原理 ,有 
N-P= = arg F(z)le (A.35) 
然而 ,由 式 (A.33) , 当 z 在 边界 《时 , 严 (z) 满 足下 式 
IF(z)—1|<1 (A.36) 
换 句 话说 ,点 w = F(z) 位 于 以 w =1 为 圆心 的 单位 圆 内 部 ,如 图 A.5 所 示 。 因 此 
larg F(z)| <5 MEE 上 的 z (A.37) 
或 等 价 地 ,有 
arg F(z)le = 0 (A.38) 





图 A.5 单位 圆 内 闭 曲 线 上 的 点 w= F(z) 


由 式 (A.38) 可 以 推出 N= 已 ,这 里 N 和 P 都 是 对 应 于 了 f(z) 的。 根据 式 (A.34) 对 F(z) 的 定义 ， 
可 以 看 出 F(z) 的 极点 是 f(z) 的 零点 , F(z) 的 零点 是 f(z) + g(z) 的 零点 。 因 此 ,N= P 意味 
着 f(z) + g(z) 和 f(z) 有 相同 的 零点 ,这 个 结果 称 为 侨 吹 定理 (Rouché”s theorem) ,表述 如 下 : 


假设 函数 /(z) 和 g(z) 在 闭 曲 线 @ 及 其 内 部 解析 ,并 设 在 6 上 1f(z)1>1g(z)1。 则 在 边界 @ 

的 内 部 g(z)+ f(z) 和 f(z) 有 相同 的 零点 。 

举例 

考虑 图 A.6(a) 中 所 示 的 边界 线 。 这 条 边界 线 组 成 了 z 域 中 多 连通 区 域 的 边界 。F(z) 和 C(z) 
是 关于 z-! 的 两 个 多 项 式 。 在 边界 线 上 及 其 内 部 , F(z) 和 G(z) 解 析 。 此 外 , 令 1F(z)l > IGC) 
则 根据 儒 欢 定理 ,下 (z) 和 F(z) + G(z) 在 图 A.6(a) 所 示 区 域内 有 相同 的 零点 。 

假设 令 外 圆 @ 的 半径 尺 趋 于 无 穷 , 同 时 令 边 界 的 两 条 直线 之 间 的 间隙 1 趋 于 0。 在 这 个 极 
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限 情况 下 ,该 边界 围 成 的 区 域 包 括 了 内 圆 @! 外 部 的 所 有 地 方 ,如 图 A.6(b) 所 示 。 换 和 句 话说 ,多 
AX F(z) 和 F(z)+ GAME 外 部 有 相同 的 零点 。[ 注 意 ,这 里 圆 @! 是 顺 时 针 方 向 ( 即 仙 
方向 的 )。] 


A.7 Zz 变换 的 反 演 积分 


第 A.1 节 至 第 A.6 节 所 讲述 的 内 容 适 用 于 一 般 的 复 变量 。 本 节 及 后 面 所 讨论 的 是 一 种 
特殊 的 复 函 数 , 它 由 一 系列 离散 时 间 样 本 的 z 变换 定义 。 
X(z) 表 示 序 列 x(n) 的 z 变换 , 它 在 环形 区 域 R < 1z1 < R, AF BR. BE 
定义 ,对 (z) 可 写 为 罗 朗 级 数 
X(z)= S amn” Ry <I < R (4.39) 


m=—00 


这 里 ,为 了 表示 方便 ,用 m 代替 作为 时 间 的 下 标 。% 是 收敛 域内 的 一 条 闭 曲线 。 


Im [z] 
Im [z] 


Re [z] 





Œ) R-= ,1 一 0 时 ,图 (a) 中 区 域 的 极限 情况 
图 A.6 feb ane 


然后 ,在 式 (A.39) 的 两 边 同 乘 以 2…! ,沿边 界 @ 逆 时 针 方向 积分 ,并 交换 积分 和 求 和 的 顺 
序 , 可 以 得 到 


1 ndz _ = 1 famdz 
这 种 积分 和 求 和 的 顺序 的 交换 已 证 明 是 合理 的 ,因为 定义 X(z) 的 罗 朗 级 数 在 CE 上 一 致 收敛 。 令 
z = rel? R <r<R, (A.41) 


则 


gm = rm-mei(n—m)e 
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dz _., 
z7 j dé 
因此 ,可 将 式 (A.40) 右 边 的 围 线 积分 写 为 
1 n-mGz _ 1 


2n 
一 一 z 一 -一 rmei(n-m)e de 
2rj Je z Qn Jo 


(A.42) 
_ 1 m=n 
0 mtn 


将 式 (A.42) 代 人 式 (A.40) ,可 得 
1 d 
x(n) = 35 x(a (A.43) 


式 (A.43) 称 为 变换 的 反 演 积分 公式 。 
A.8 帕 斯 维尔 定理 


XX(z) 表 示 序 列 x(n) 的 z 变换 ,x(n) 的 收敛 域 为 Ra < 1z1 < R,,。Y(z) 表 示 另 一 序列 
y(n) 的 z 变换 ,y(n) 的 收敛 域 为 Ri, < izl < Ra , 帕 斯 维 尔 定理 (Parseval s theorem) 描 述 如 下 
o9 d. 

Š ry =z p xor( 4) (A.44) 


这 里 ,是 定义 在 X(z) 和 Y (a) UCR RS) RX C2) BY C2) A RTS H 
Y(z) 中 的 z 用 1/z KIR PR PORRER Y" 1/2" ) TERRY" 1/2" ) 也 是 解析 的 。 
为 了 证 明 帕 斯 维尔 定理 ,我 们 利用 式 (A.43) 的 反 演 积分 公式 写 出 
Š mrm -a Sr pxweS fx) Eyres (aas) 


由 y(n) 的 z 变换 定义 , 即 


Y(z) = > y(n)z™ 
可 以 得 到 
y+(4) = > y*(n)z” (A.46) 


因此 ,将 式 (A.46) 代 和 人 式 (A.45) ,可 得 式 (A.44) 给 出 的 结果 ,从 而 帕 斯 维尔 定理 得 证 。 


附录 B 对 向 量 微分 


在 最 优化 理论 中 ,经 常 遇 到 的 一 个 问题 是 代价 函数 对 感 兴趣 参数 向 量 的 微分 。 在 这 一 附 
录 中 ,我 们 用 常用 的 梯度 法 。 附 录 B 解决 代价 函数 对 复 值 参数 向 量 的 微分 中 一 些 较 难 的 问 
题 。 首 先 介绍 一 些 基 本 定义 。 


B.1 基本 定义 
复 函 数 /(w) 由 参数 向 量 决定 。 当 w 是 复数 时 ,有 两 个 不 同 的 数学 概念 需要 分 别 注意 : 


(1) Ww 本身 是 向 量 ;(2)w 向 量 中 的 每 个 元 素 都 是 复数 。 
首先 解决 复数 问题 。 令 x Ay, 分 别 代表 向 量 w 中 第 个 元 素 wi 的 实 部 和 虚 部 , 即 


We = Xk + [Ve (B.1) 
从 而 可 得 实数 x, Aly, APB. ASK (B.1), A Se ow, Mw, 表示 w HRB x, 为 
x, = (we + wk) (B.2) 


表示 w, BEX y, 为 
1 * 
Yk 7 3 (we 一 wr) (B.3) 


HES RRR, SM x, 和 y, 都 是 w 和 wx 的 函数 。 根 据 柯 西 - 黎 曼 (Cauchy-Riemann) 
方程 ,只 有 在 处 理解 析 函 数 S, A RAARD wi 。 然 而 ,在 物理 和 工程 中 所 遇 到 的 大 
多 数 函 数 都 不 是 解析 函数 。 

导数 的 概念 必须 和 微分 联系 起 来 。 尤 其 是 必须 遵守 包括 变量 变化 的 一 系列 微 积 分 原则 。 
考虑 到 这 些 要 点 ,并 根据 实 导数 ,可 以 定义 复 导 数 为 (Schwartz, 1967) 











ð + ( ð .0 ) (B4 
OW, 2 OX, J OVE “ ) 
和 
9 1fa .6 
awe 2 (去 t3 a) (B.5) 
这 里 定义 的 导数 满足 以 下 两 个 基本 要 求 
OW, 
—=1 
OW, 
au, aut _ 
awe du, 


(解析 函数 了 处 处 满足 3f/8z ”=0)。 
下 面 考虑 向 量 微分 问题 。 令 Wos Wis cosy wn-! 表 示 复 向 量 wW 中 的 元 素 。 将 式 (B.4) 和 式 
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(B.5) 推 广 应 用 于 应 对 这 种 新 的 情况 ,可 写 出 








0 _ ,3 
Xo 3 Yo 
0 ð 
了 -| aa Jay, (B.6) 
aw 2 1 . yı . 
a3 
OXM-1 ðYm-1 
和 
ð .9 
mtia 
Xo ð Yo 
awe 7 Ox1 . ay (B.7) 


ð ð 
+ 
0OXM-1 ðYm-1 
其 中 w, = a + jyi X k=0,1,...,M -1o 3/3 w 表示 相对 于 向 量 wRE 00 w RRBs 
数 。 这 两 个 导数 一 起 考虑 ,必须 满足 下 列 关系 式 








ð 
ôw _y 
ðw 


ow _ ðw? 





ow* ðw 





这 里 ,I 是 单位 阵 ,O 是 零 矩阵 。 
后 面 ,将 用 式 (B.7) 的 定义 ,作为 复 向 量 的 导数 。 


B.2 示例 


这 一 节 ,我们 举例 说 明 式 (B.7) 所 定义 的 导数 的 应 用 。 这 些 例子 来 自 第 2 章 的 最 优 线性 滤 
波 问题 和 第 8 章 的 最 小 二 乘法 问题 。 
例 1 

p 和 Ww 表示 两 个 复 值 M x1 向 量 ,考虑 两 个 内 积 p”w f wp 

令 cl =p wo co 关于 Ww 的 共 罗 导数 是 


0c ð 
(pw)=10 (B.8) 


KP OLEH, AÈ, pw 是 解析 函数 (参见 第 2 章 习 题 1)。 我 们 可 得 出 p”w 关 于 Ww 
的 导数 是 0, 与 式 (B.8) 一 致 。 
下 面 ,考虑 cz = Wi po C2 KF week Fak 
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ð 
ont = = (wp) = = (p’w*) =p (B.9) 
这 里 ,注意 wp 不 是 解析 函数 (参见 第 2 章 习题 1)。 因 此 ,关于 wsp 相对 于 w 的 导数 非 


零 ,与 式 (B.9) 一 致 。 














例 2 
考虑 二 次 型 
c = wiRw 
其 中 及 是 一 个 埃 尔 米 特 矩阵 。 实 数 c KE wHKRMFAA 
ec _ ð 
aw*  aw* (w"Rw) (B.10) 
= Rw 
由 例 1 中 的 两 个 结论 容易 证 明 式 (B.10) 的 正确 性 ,这 个 问题 留 给 读者 作为 练习 。 
例 3 
考虑 一 实 代价 函数 (参见 第 2 章 ) 
J(w) = 03 — wip ~ piw+ wiRw 
利用 例 1 和 例 2 的 结论 ,得 出 J 关于 抽 头 系数 向 量 W 的 共 轿 早 数 是 
= -p + Rw (B.11) 


w, 是 抽 头 系数 向 量 Ww 的 最 优 值 ,此 时 代价 函数 J 最 小 ,等 价 于 3J/3 w = 0。 因 此 ,从 式 
(B.11) 可 得 

Rw, = p (B.12) 
这 就 是 工作 于 稳 态 环境 下 的 横向 滤波 器 (由 相关 给 阵 R 和 互相 关 向 量 pB 表 征 ) 的 维 纳 - 霍 
K (Wiener-Hopf ) 方 程 的 矩阵 形式 。 


j 4 
考虑 实 对 数 似 然 函数 (参见 第 8 章 ) 
IŠ) = F ~ Sete (B.13) 
Sip FRA, E 
© =b—- AW (B.14) 
将 式 (B.14) 代 入 式 (B.13) ,得 
KX) = F- Spl + Spas + WHAM -Z "AAW (B.15) 


HHELAFT WHKRFK, HAAG 1 和 例 2 的 结果 ,可 得 
ôl + Ap 一 | AHA% 
0W* o o 





4118 w =0 然 后 化 简 ,得 
A"b — A” Aw, = 0 
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其 中 w, 是 对 数 似 然 画 数 取 得 最 大 值 时 入 的 特殊 值 ,因此 
A” Aw, = Ah (B.16) 
这 是 最 小 二 来 法 正则 方程 的 矩阵 形式 。 式 中 ALMA b 是 期 望 响应 向 量 。 


B.3 相对 于 向 量 的 导数 与 梯度 向 量 的 关系 


考虑 一 实 代 价 函 数 J(w) , 它 定义 了 一 个 横向 线性 滤波 器 的 误差 性 能 平面 ,其 抽 头 系数 向 
量 为 w。 在 第 2 章 , 误 差 平面 的 梯度 向 量 定 义 为 
at ad 
dX a Yo 
3 ad 
w=| ox, la (B.17) 





OXM~1 t iua 
其 中 x, + jy; 是 抽 头 系数 向 量 w 的 第 个 元 素 ,h =0,1,...,M -1。 梯 度 向 量 是 误差 性 能 平 
面 的 法 向 向 量 。 比 较 式 (B.7) 和 式 (B.17) 可 以 看 出 , 共 思 导数 3/3 w 与 梯度 向 量 VJ 关系 如 下 
ðJ 
ow* 
因此 ,在 不 考虑 比例 系数 的 情况 下 ,第 2 BEST A BE Ty YE ARB.) PSE SAE 
义 是 一 致 的 。 





VJ =2 (B.18) 


附录 C HBT ERP 


最 优化 问题 包括 确定 某 些 特定 变量 的 值 ,从 而 使 得 性 能 指标 或 代价 函数 值 最 大 或 最 小 。 
最 优化 可 能 是 有 约束 的 也 可 能 是 无 约束 的 ,这 取决 于 变量 是 否 需 要 满足 一 些 边界 条 件 。 不 用 
说 ,满足 一 个 或 多 个 边界 条 件 的 附加 要 求 会 使 得 约束 最 优化 问题 变 得 复杂 。 在 这 篇 附录 中 ,我 
们 推导 出 经 典 的 拉 格 朗 日 乘 子 法 (method of Lagrange multipliers) 来 解决 约束 最 优化 问题 。 推 导 
中 用 到 的 一 些 概念 受到 我 们 所 熟悉 的 应 用 特性 的 影响 。 首 先 考 虑 只 有 一 个 边界 条 件 的 情况 ， 
然后 讨论 更 一 般 即 有 多 个 边界 条 件 的 情况 。 


C.1 只 含 一 个 等 式 约束 的 最 优化 


实 函 数 f(w) 是 参数 向 量 w 的 二 次 函数 ,约束 条 件 是 
wis = 8 (C.1) 
其 中 s 是 已 知 向 量 ,g 是 复 常 数 。 可 以 通过 引入 一 个 关于 w 的 线性 函数 e(w) 来 重新 定义 这 个 
ARE. BY 
c(w) = wis — 
= 0+ j0 ° (C.2) 
通常 ,向 量 w 和 s, 函数 c(w) 均 为 复数 。 例 如 ,在 一 个 波束 形成 应 用 中 ,向 量 w 表示 各 传感器 
输出 的 一 组 复数 权 值 。s 表示 一 个 转向 向 量 ,其 元 素 由 指定 的 观察 方向 定义 。 函 数 fw) 
小 值 表示 所 有 波 东 形成 器 输出 的 均 方 值 。 在 谐 波 恢 复 应 用 中 ,w 表示 横向 滤波 器 的 抽 头 权 向 
量 ,s 是 一 个 正弦 向 量 ( 其 元 素 由 受 滤 波 器 输入 限制 的 复 正 弦 函 数 的 角 频 率 来 决定 ) ;函数 Fw) 
表示 滤波 器 输出 的 均 方 值 。 不 管 怎样 ,假设 这 个 问题 是 一 个 最 小 化 问题 , 则 可 把 该 约束 最 优化 
问题 描述 为 





in f(w) 
s.t. e (w) = 0 W jo (C.3) 


拉 格 朗 日 乘 子 法 通过 引入 拉 格 朗 日 乘 子 ,将 上 述 约束 最 小 化 问题 转化 为 无 约束 最 小 化 问 
fl. AFG, Fl FASE PA fw) FRE BR BRAY HR PRE c(w) 定 义 一 个 新 的 实 函 数 


h(w) = f(w) + ARe[c(w)] + A,Im[c(w) (C.4) 
其 中 A, 和 为 实 拉 格 朗 日 乘 子 , 且 
c(w) = Re|[c(w) | + jIm[c(w)| (C.5) 


现在 ,再 定义 一 个 复 拉 格 朗 日 乘 子 
A= à + ja, (C,6) 
可 将 式 (C.4) 写 为 
A(w) = f(w) + Re[Asc(w)] (C.7) 
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其 中 星 号 表示 共 恩 复数 。 
下 面 为 了 求 出 h(w) 关 于 向 量 wH RME, SHF RO w ”等于零 向 量 Bl 
十 (Re[A*c(w)]) = 0 (C.8) 


式 (C.8) 和 式 (C.2) 约 束 条 件 的 联 立 方程 组 定义 了 向 量 w 和 拉 格 朗 日 乘 子 和 的 最 优 解 。 式 
(C.8) 称 为 伴随 方程 , 式 (C.2) 称 为 初始 方程 (Domy,1975)。 


C.2 包含 多 个 等 式 约束 的 最 优化 


下 面 , 考 虑 实 函 数 f(w) 的 最 小 化 问题 。 实 函数 /(w) 是 向 量 w 的 二 次 函数 , 受 限 于 多 个 线 
性 约束 条 件 


wis, = gy k=1,2,...,K (C.9) 
其 中 约束 的 个 数 玉 小 于 向 量 w 的 维 数 , g 是 复 常 数 。 可 将 这 个 多 约束 最 优化 问题 表示 为 


min f(w) 








st. cxw)=0+j0, k=1,2,...,K (C.10) 
由 第 C.1 节 的 结果 容易 获得 这 个 最 优化 问题 的 解 。 特 别 地 ,将 伴随 方程 
K 
of +2 =a (Re[Afc.(w)]) = 0 (C.11) 
和 初始 方程 
c.(w) =0 + j0 k =1,2,...,K (C.12) 


联合 组 成 方程 组 。 这 个 方程 组 定义 了 向 量 w 和 复 拉 格 朗 日 乘 子 41 ,4,,...， Xx 的 最 优 解 。 


C.3 最 优 波束 形成 器 


通过 下 面 的 示例 ,考虑 求 波束 形成 器 权 向 量 w 问题 , 即 函 数 








fiw) = wiw (C.13) 
在 如 下 约束 条 件 
ce(w) = ws — g =0 + j0 © (€.14) 
下 的 最 小 化 问题 。 这 个 问题 的 伴随 方程 为 
sag (wi'w) + <= (Re[a(wi's — g)]) = 0 (C.15) 
用 附录 B 导出 的 微分 规则 ,我 们 有 
= (ww) =w 


2 
ow* 


将 这 些 结果 代入 式 (C.15), 可 得 


(Re[A*(wi's — g)]) = A*s 


MRC BM ARR 
wt A*s = 0 
其 次 ,由 式 (C.16) 解 出 未 知 数 AE 


A=-— =- 


sts sis 


最 后 ,将 式 (C.17) 代 入 式 (C.16) 并 求 权 向 量 w 的 最 优 解 ,得 


* 
w = (人 
S S 


Sw, 满足 式 (C.14) 的 约束 条 件 且 可 能 在 最 小 长 度 的 意义 上 它 是 最 优 的 。 


(C.18) 


附录 D 估计 理论 


估计 理论 是 概率 论 和 统计 学 的 一 个 重要 分 支 , 它 由 一 组 给 定 的 观测 样本 导出 随机 变量 和 
随机 过 程 某 些 特性 的 信息 。 这 个 问题 经 常 出 现在 通信 和 控制 系统 的 研究 中 。 最 大 似 然 法 是 目 
前 最 常见 .最 强 有 力 的 佑 计 方 法 。 它 最 早 由 著名 的 统计 学 家 R.A. Fisher 在 1906 年 使 用 。 原 则 
上 ,最 大 似 然 法 可 用 于 任 一 估 值 问题 ,但 以 能 组 成 可 用 观测 数据 的 联合 概率 密度 函数 为 条 件 。 
这 个 方法 可 将 几乎 所 有 熟知 的 估 值 问题 作为 特例 。 


D.1 似 然 函数 


最 大 似 然 法 基于 一 种 比较 简单 的 思想 (Kmenta, 1971) : 


不 同 的 群体 产生 不 同 的 数据 样本 ,而 给 定 的 数据 样本 比 从 其 他 群体 中 产生 的 样本 具有 更 
大 的 相似 性 。 


S fu(u19) 表 示 随 机 向 量 U 的 联合 条 件 概率 密度 函数 。U 由 元 素 为 u, ur... uy 的 观 
测 样本 向 量 u 来 表示 ,其 中 8 是 元 素 为 9 ,0,,...， bx 的 参数 向 量 。 最 大 似 然 法 是 基于 这 样 一 
个 原理 , 即 给 定 观 测 样本 向 量 u, 我 们 可 用 参数 向 量 8 最 可 能 的 值 来 估计 该 向 量 。 换 句 话说 ， 
Dy ,0，.…,ex 的 最 大 似 然 估计 器 是 联合 条 件 概率 密度 函数 fu(u19) 为 最 大 时 参数 向 量 的 值 。 

似 然 函数 [ 记 为 1(8)] 由 联合 条 件 概率 密度 函数 fu(u18) 给 出 , 它 是 参数 向 量 8 的 函数 , 因 
此 ,可 以 写 为 

(0) = fu(u|6) (D.1) 

尽管 联合 条 件 概 率 密度 函数 和 似 然 函数 具有 完全 相同 的 公式 ,但 区 分 二 者 之 间 的 不 同 物理 含 
义 是 至 关 重 要 的 。 在 联合 条 件 概 率 密度 函数 中 ,参数 向 量 8 是 固定 的 ,而 观测 向 量 u 是 变化 
的 。 而 在 似 然 函 数 中 ,参数 向 量 8 是 可 变 的 ,观测 向 量 u 是 固定 的 。 

在 许多 情况 下 ,用 似 然 函 数 的 自然 对 数 比 用 它 本 身 更 方便 ,因此 ,常用 L(8) 表 示 对 数 似 然 
函数 记 为 


L(®) = In[/(6)] = In[fu(u19)] (D.2) 
对 数 函 数 1 (0) FE !(6) 的 单调 变换 式 。 这 意味 着 当 1(8) 增 大 时 ,L(9) 也 增 大 。 因 为 表示 联合 
条 件 概率 密度 函数 的 1(8) 不 可 能 是 负数 , 故 计算 其 对 数 就 不 会 有 问题 。 因 此 可 以 得 出 结论 ， 

似 然 函 数 !(6) 取 得 最 大 值 的 参数 向 量 完全 同 于 对 数 似 然 函 数 L(8) 取 得 最 大 值 的 参数 向 量 。 
为 了 得 到 参数 向 量 8 最 大 似 然 估 值 的 第 0 个 元 素 ,我 们 计算 对 数 似 然 函 数 关于 0, 的 偏 导 

数 并 令 其 结果 为 零 。 于 是 ,得 到 一 组 一 阶 条 件 

aL _ 
a6; 
对 数 似 然 函 数 对 0, 的 一 阶 人 篇 导 称 为 参数 的 得 分 ,这 个 参数 向 量 就 是 得 分 向 量 ( 即 梯度 向 量 )。 


0 i= 1,2,...,K (D.3) 
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在 参数 取得 最 大 似 然 估 值 时 ,得 分 向 量 为 零 [ 即 8 值 可 由 式 (D.3) 求 出 ]。 

为 了 评价 最 大 似 然 方法 的 有 效 性 ,可 以 计算 每 个 参数 估计 值 的 偏差 和 一 致 性 。 然 而 这 是 
很 难 做 到 的 。 因 此 ,代替 直接 进行 计算 ,我 们 推导 出 任 一 无 偏 估计 误差 的 下 限 。 如 果 估 计 值 的 
平均 值 和 待 估 计 的 参数 值 相 等 , 则 说 这 个 估计 是 无 偏 的 。 后 面 我 们 会 给 出 最 大 似 然 估计 的 方 
差 与 这 个 下 限 之 间 的 比较 。 


D.2 Cramér-Rao 不 等 式 
U 是 一 随机 变量 ,联合 条 件 概 率 密度 函数 为 fy(u19), 这 里 u EIKA ,以 ,..., un 的 


观测 样本 向 量 ,而 8 是 元 素 为 0 ,0,,... ,9x 的 参数 向 量 。 用 式 (D.2) 定 义 的 对 数 似 然 函 数 
L(8) ,并 根据 联合 条 件 概 率 密度 函数 fy (U19) ,可 写 出 K 行 kK 列 的 矩阵 




















L ZL PL 
E| — E e E 
ae 0,005 80, 00x 
L PL PL 
E E| -一 OE 
本 = 一 002001 003 00200 (D.4) 
| L ] | L | =] 
80x90, 00 7 dO, 30% 
HERE J PE Fisher fa AE. 


令 工 表示 Fisher 信息 矩阵 本 的 道 阵 ,天 表示 逆 矩 阵 工 的 第 让 个 对 角 线 元 素 。 令 8, 为 参数 0 
基于 观测 样本 的 无 偏 估计 , 则 可 写 出 (Van Trees, 1968) 
var[ô] > h i=1,2,...,K (D.5) 
式 (D.5) 称 为 Cramér-Rao 不 等 式 。 它 使 得 我 们 能 够 构造 出 任 一 无 偏 估计 器 方差 的 下 限 ( 大 于 0)， 
当然 ,需要 知道 对 数 似 然 函数 。 该 下 限 称 为 Cramér-Rao 下 界 。 
如 果 能 找到 一 无 偏 估 计 器 ,其 方差 等 于 Cramér-Rao 下 界 。 则 由 式 (D.5) 可 知 ,这 个 无 偏 估 
计 误 差 最 小 。 这 样 一 个 估计 髓 就 可 说 是 有 效 的 。 


D.3 最 大 似 然 估计 的 性 质 


最 大 似 然 估计 法 不 仅 是 一 个 基于 直观 的 想法 (从 实际 观测 样本 中 得 到 的 参数 具有 更 大 的 
相似 性 ) ,而且 佑 值 结 果 也 具有 某 些 预期 的 性 质 。 实 际 上 ,在 十 分 一 般 的 情况 下 ,可 证 明 下 面 的 
渐进 特性 (Kmenta, 1971) : 

1. 最 大 似 然 估 计 器 是 一 致 的 。 也 就 是 说 , 当 样 本 长 度 W 趋 于 无 穷 时 ,每 个 偏 导数 3 ZL/a O, 

=0 依 概率 收敛 于 0, 的 真 值 ,i=1,2,...,K。 

2. 最 大 似 然 估计 器 是 渐进 有 效 的 , 即 


varl ð; a — 9; 
lim [elma =1 7=12. .天 
ii 
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其 中 , 6, 是 参数 9, 的 最 大 似 然 估计 , 1; 是 Fisher 信息 矩阵 的 逆 阵 的 第 i 个 对 角 元 素 。 
3. 最 大 似 然 估 计 器 是 渐进 高 斯 的 。 


在 实践 中 可 以 发 现 ,最 大 似 然 估计 器 的 大 样本 性 质 在 样本 长 度 M50 时 是 相当 好 的 。 


D.4 条 件 均 值 估 计 


估计 理论 中 的 另 一 类 经 典 问 题 是 随机 参数 的 贝 叶 斯 (Bayes) 估 计 。 这 个 问题 有 多 种 答案 ， 
取决 于 贝 叶 斯 估计 中 代价 函数 的 组 成 形式 (Van Trees,1968)。 本 书 中 我 们 所 关注 的 是 贝 叶 斯 
估计 的 一 种 特殊 形式 , 即 所谓 条 件 均 值 估计 。 现 在 ,我 们 希望 做 两 件 事 :(1) 推 导出 条 件 均值 公 
式 ;(2) 证 明 这 种 估计 等 同 于 最 小 均 方 误差 估计 。 

为 了 达到 这 个 目的 ,考虑 一 个 随机 参数 *。 观 测 值 y 取决 于 x, 而 且 要 求 估 计 x。 令 ely) 
表示 参数 x 的 估 值 。 符 号 4&(y) 表 明 估 计 值 是 观测 值 y 的 函数 。 令 C(x ,x(y)) 表 示 一 个 取决 
于 x 和 4(7y) 的 代价 函数 。 则 根据 贝 叶 斯 估计 理论 ,可 写 出 如 下 风险 表达 式 (Van Trees, 1968) 。 


R= EICO] = f a f Olay 0.6) 


其 中 fy (a, y) BAN x 和 y 的 联合 概率 密度 函数 。 对 于 特殊 的 代价 函数 C, 2&(y)), 贝 叶 斯 
估计 定义 为 使 风险 为 最 小 的 估 值 Cy) 0 

人 们 特别 感 兴 趣 的 代价 函数 (本 书 的 核心 内 容 ) 是 均 方 误差 函数 ,规定 为 估计 误差 的 平方 ， 
估计 误差 定义 为 参数 x 的 真 值 与 估 值 4(y) 之 差 , 即 


=x — X(y) (D.7) 
相应 地 ,代价 函数 定义 为 
C(x, £(y)) = C(x — £(y)) (D.8) 
或 简写 为 
C(e) = & (D.9) 


因此 ,代价 函数 随 着 估计 误差 。 的 变化 而 变化 ,如 图 D.1 中 的 曲线 所 示 。 这 里 假设 x 和 y 都 是 
实数 ,因此 对 于 目前 的 情况 ,可 将 式 (D.6) 写 为 


Bigg = a [Lx = EO fer (D.10) 
SEH ERAH REREAD EMAL. HERET A 
fx x(x, y) = fx(x|y)fy(y) (D.11) 


其 中 plp EGA y 的 情况 下 x 的 条 件 概率 密度 函数 。 户 (y) 是 y 的 边际 概率 密度 函数 。 
因此 ,将 式 (D.11) 代 入 式 (D.10) ,可 得 


m= 三 apo) 太 -aoDFprtrly)d (D.12) 
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C(e) 


E 


0 
图 D.1 作为 二 次 代价 函数 的 均 方 误差 曲线 图 


由 此 可 见 , 内 积 与 式 (D.12) 中 的 f(y) 都 是 非 负 的 。 因 此 可 以 通过 令 内 积 最 小 化 来 使 风 
险 9= 最 小 。 这 样 得 到 的 估 值 用 4,(y) 表 示 。 内 积 对 4(y) 求 导 并 令 其 为 零 , 即 可 求 出 8,,(y)。 
为 了 简化 这 个 表达 式 , 令 了 表示 式 (D.12) 中 的 内 积 ,然后 了 对 4(y) 求 导 , 可 得 
di oo a oO 
a 2 rte yer + 280) fx) a (D.13) 
式 (D.13) 右 边 的 第 二 项 积分 表示 概率 密度 曲线 下 的 总 面积 , 故 为 定 值 。 令 导数 d1/d% = 0, BY 
得 


Kraly) = f xfx(x|y)dx (D.14) 


式 (D.14) 定 义 的 解 是 惟一 最 小 值 。 

式 (D.14) 定 义 的 估 值 *,,(y) 自 然 地 是 最 小 均 方 误差 估 值 , 故 用 ms 做 下 标 。 这 个 估 值 还 
有 另外 一 种 解释 , 即 等 式 右边 的 积分 就 是 在 给 定 y 的 情况 下 x 的 条 件 均 值 。 

因此 可 以 得 出 结论 ,最 小 均 方 误差 估 值 &6y) 和 条 件 平均 估 值 实质 上 是 同一 回 事 ,因此 是 
相等 的 。 换 句 话说 ,我 们 有 

Xns(y) = E[x|y] (D.15) 

用 式 (D.15) 代 替 式 (D.12) 的 估 值 4(y) ,容易 发 现 ,内 积 就 是 在 给 定 y 的 条 件 下 x 的 条 件 方差 。 
因此 ,风险 Rw 的 最 小 值 是 所 有 观测 值 y 的 条 件 方差 的 平均 值 。 


附录 特征 分 本 


在 这 篇 附录 中 ,我 们 详 述 广义 平稳 离散 随机 过 程 的 统计 特性 。 根 据 第 1 章 我 们 知道 ,这 个 
过 程 的 集 平 均 相关 矩阵 是 埃 尔 米 特 (Hermmitian ) 的 。 埃 尔 米 特 和 矩阵 的 一 个 重要 特点 是 , 它 允 许 
根据 其 特征 值 及 其 相关 的 特征 向 量 进行 有 用 的 矩阵 分 解 。 这 个 表示 形式 通常 称 为 特征 值 分 析 
(eigenanalysis) ,这 是 统计 信号 处 理 的 基础 。 

首先 ,通过 概述 相关 算 阵 特征 分 析 问 题 ,开始 特征 分 析 的 讨论 。 然 后 ,研究 相关 和 矩 阵 特 征 
值 和 特征 向 量 的 性 质 以 及 相关 的 最 优 滤波 问题 。 最 后 ， 通过 简要 描述 特征 值 计 算 的 一 一 套 程序 
及 其 相关 问题 ,完成 本 附录 的 讨论 。 


E.1 特征 值 问题 


埃 尔 米 特 矩阵 R 表示 一 个 广义 平稳 离散 随机 过 程 的 M x M 相关 和 矩阵 ,随机 过 程 由 Mx 1 
观测 向 量 u(z) 来 描述 。 一 般 来 说 ,矩阵 可 以 包含 复元 素 。 我 们 希望 找到 一 个 M x 1 非 零 列 向 
量 q, 使 得 对 于 某 一 常数 ,满足 如 下 条 件 

Rq = Aq (E.1) 
这 个 条 件 表明 ROK SEE RR, 向 量 q PAPER HOS Ag. AAA 是 常数 , 故 向 量 q 
有 特殊 意义 , 即 线性 变换 后 方向 不 变 ( 在 M 维 空间 )。 对 于 一 个 典型 的 M x MEE R, 存 在 M 
个 这 样 的 向 量 。 为 了 证 明 这 一 点 ,将 式 (E.1) 写 为 下 面 的 形式 
(R — ADq = 0 (E.2) 
其 中 I 是 M x M 单位 阵 ,0 是 M x 1 See, BE (R-ADUMEAR eS, A, 4AM 4 
阵 (R - 4 了 D) 的 行列 式 为 零 时 ,向 量 q 有 非 零 解 , 即 
det(R — AI)=0 (E.3) 
显然 这 个 行列 式 展开 后 是 * 的 M 阶 多 项 式 。 故 易 发 现 , 式 (E.3) 一 般 有 M 个 根 。 因 此 , 式 
(E.2) 有 M 个 解 。 式 (E.3) 称 为 矩阵 R 的 特征 方程 。 令 MA; ,2 Am 表示 方程 的 戏 个 根 。 
这 些 根 叫做 和 矩阵 R 的 特征 值 。 注 意 , 一 般 情况 下 ,通过 求 特 征 方 程 (E.3) 的 根来 得 到 矩阵 R 的 
特征 值 不 是 好 的 方法 。 对 于 特征 值 的 计算 ,将 在 后 面 第 5 节 专 门 讨论 。 

S 1, 表示 和 矩阵 RR 的 第 i TREE, Hi q 为 非 零 向 量 ,满足 

Rq; = àq; (E.4) 
向 量 q 称 为 关于 》; 的 特征 向 量 。 一 个 特征 向 量 只 可 对 应 一 个 特征 值 。 然 而 ,一 个 特征 值 可 对 
应 多 个 特征 向 量 。 例 如 ,如 果 q 是 对 应 于 4, 的 特征 向 量 , 则 对 于 任 一 不 为 零 的 c, aq, 也 是 对 
WEF A, 的 特征 向 量 。 

RE Mx MEERA MM 个 特征 值 ,但 它们 可 以 相等 。 如 果 和 矩阵 RR 有 一 个 特征 值 ,其 代数 
重 数 超 过 几何 重 数 , 则 称 和 矩阵 R 是 无 效 的 (退化 的 )。 代 数 重 数 指 特 征 值 4, 的 阶 数 ,几何 重 数 
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指 相应 特征 向 量 q; 的 维 数 。 特 征 值 亏损 的 一 个 严重 后 果 是 矩阵 R 的 非 对 角 化 (对 角 化 问题 将 
在 第 了 .2 节 中 讨论 )。 


例 1: 气 损 矩阵 
一 个 亏损 给 阵 的 标准 示例 是 
0 1 

R=| 5 ,| 
及 的 特征 值 是 

Àr = Az =0 
对 应 的 特征 向 量 q 满足 条 件 

| 0 1 

[o 5 |a=o 

满足 


特征 值 1 =0 的 代数 重 数 为 2, 因 为 有 两 个 特征 值 。 而 特征 值 的 几何 重 数 是 1 ,因为 对 应 的 
特征 向 量 q 是 一 维 的 。 所 以 说 给 定 和 矩阵 及 是 亏损 (退化 ) 的 。 
例 2: AMR 
考虑 一 个 和 白 噪声 过 程 的 Mx M 相关 给 阵 ,用 如 下 对 角 阵 
R = diag(o’, o°, ... , o°) 
来 描述 AP o ARIER. MPAMERA-SETHE o? 的 亏损 的 特征 值 ， 
重 数 为 M。 然 而 , 任 一 x1 随机 向 量 可 作为 其 对 应 的 特征 向 量 。 这 表明 ,对 于 白 噪声 ， 
一 个 特征 值 a? 对 应 M 个 线性 无 关 的 特征 向 量 。 因 此 ,人 珑 阵 R= oI 是 非 亏 损 延 阵 。 
例 3: 复 正 弦 向 量 
TH, FRAT PA Mx 及 相关 给 阵 , 其 元 素 是 复 正弦 曲线 的 样本 ,幅度 为 T 相 位 
随机 。 该 相关 矩阵 可 写 为 


1 ele ee eM- 
R- ele 1 vee gi MH2)0 
eM) -2 1 
其 中 中 是 复 正 弦 曲 线 的 角 频 率 。 呆 xl 人 向量 
q= [1, e”, vee ,ee De] 







是 相关 抵 阵 及 的 特征 向 量 , 相 应 特征 值 是 M( 即 矩阵 及 的 维 数 )。 换 名 话说 ,于 
OER LAGE TRL OHM TAT ERR RAS Oh 
ZEA ARM 及 的 秩 为 1, 这 意味 着 及 的 任 一 列 可 用 其 他 列 的 线性 组 合 来 表示 ( 即 


仅 有 一 个 独立 的 行 )。 它 也 意味 着 及 的 其 他 特征 值 是 0, 重 教 为 呆 ~ 1, 且 这 个 特征 值 对 应 ， 
M -1 个 线性 无 关 的 特征 向 量 。 ey 
yet 


me 


z 
a 
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E.2 特征 值 和 特征 向 量 的 性 质 


在 这 一 节 , 我 们 讨论 平稳 随机 过 程 相关 和 矩阵 R 的 特征 值 和 特征 向 量 的 各 种 性 质 。 这 里 导 
出 的 一 些 性 质 是 埃 尔 米 特性 质 和 相关 矩阵 R 非 负 性 的 直接 结果 ,这 在 第 1.3 节 中 已 经 确立 。 

性 质 1 如 果 41,4,,...,Ax 表示 相关 短 阵 民 的 特征 值 , 则 对 任意 整数 >0, 和 矩阵 RR* 的 
特征 值 是 A AS... A o 

在 式 (E.1) 的 两 边 重复 左 乘 矩阵 及 ,得 到 

R“q = Mg (E.5) 

这 个 等 式 表明 :(1) 若 A ÆRE R 的 特征 值 , 则 X* 是 R* 的 特征 值 ,这 是 人 们 所 期 望 的 结果 ; 
(2)R 的 每 个 特征 向 量 也 是 R 的 特征 向 量 。 

性 质 2 Slots... Au DIZMA RAM AEM A, AL, Ay 对 应 的 特征 向 
量 ,gb，,，...,qx, 则 特征 向 量 为 线性 无 关 。 

我 们 说 特征 向 量 q% ,9 ,.. du 为 线性 相关 ,就 是 存在 不 全 为 零 的 标量 vi, o... vy 使 得 


M 
È vg: =0 (E.6) 


如 果 这 样 的 标量 不 存在 , 则 说 特征 向 量 为 线性 无 关 。 
我 们 用 反 证 法 证 明 性 质 2。 假 设 存在 不 全 为 零 的 标量 v, 使 得 式 (E.6) 成 立 。 和 矩阵 R 重复 
左 乘 以 式 (了 .6) ,并 利用 式 (E.5) ,得 到 如 下 一 组 方程 


M 
Dua'a = 0 k =1,2,...,M (E.7) 
i=l] 


这 组 方程 可 写 为 一 个 矩阵 方程 


[viqi, tq2,..., Vudu]S = 0 (E.8) 
其 中 
1 A MA A 
S= eM (E.9) 
1 Am Aw oc AM-! 


矩阵 S BRA HE1E SS ( Vandermonde ) #2 RE (Strang, 1980), 24 a, 不 同时 , 范 得 蒙 矩 阵 S 是 非 奇 异 
阵 。 因 此 , 式 (E.8) 右 乘 以 逆 阵 $ ,可 得 
[v1q1, v02, ~- UM qm | =0 
因此 ,每 一 列 vq; = 0。 因 为 特征 向 量 q; 非 零 , 则 当 且 仅 当 o, 全 为 零 时 这 个 条 件 才 成 立 ,这 与 
假设 v 不 全 为 零 相 矛盾 。 换 名 话说 ,特征 向 量 为 线性 无 关 。 
性 质 2 有 一 重要 作用 ,即将 线性 无 关 特征 向 量 @ ,中 ,...,qw 作为 一 组 基 , 用 来 表示 与 它 
同 维 数 的 向 量 w。 特 别 地 ,可 将 任意 向 量 w 表示 为 如 下 特征 向 量 q ,里 ,...,qy 的 线性 组 合 为 
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w= 244i l (E.10) 


Ms 


i=1 


其 中 ,mm .ww 是 常数 。 现 在 假设 对 向 量 w 进行 线性 变换 , 即 用 矩阵 RARE WA 
Rw = > oka, (E.11) 


根据 定义 ,Rg = 4,q;。 因 此 ,这 个 线性 变换 的 结果 还 可 写 为 
M 
Rw = È vàg; (E.12) 


因此 ,可 以 看 出 ,对 式 (E.10) 定 义 的 任意 向 量 w 进行 线性 变换 ,特征 向 量 仍然 为 线性 无 关 , 变 
换 的 结果 只 是 在 每 个 特征 向 量 前 面 乘 以 各 自 的 特征 值 。 
性 质 3 HA, àz.. An 是 开 xjM 相 关 给 阵 及 的 特征 值 , 则 所 有 这 些 特征 值 是 实数 且 非 负 。 
为 了 证 明 这 个 性 质 , 首 先 用 式 (E.1) 将 第 i 个 特征 值 4, 的 条 件 表 示 为 
Rq; = àq; i=1,2,...,M (E.13) 
在 上 式 的 两 边 左 乘 以 qt (q; 的 埃 尔 米 特 转 置 ) ,可 得 


qi Rq; = àq” q; i=1,2,...,M (E. 14) 


AR qi q; 是 正 标量 ,表示 向 量 qg 欧 氏 长 度 的 平方 , 即 qi q; > 0。 因 此 可 在 式 (E.14) 的 两 边 同 
除 以 qi q; ,可 将 第 i 个 特征 值 表示 为 
y = WR i=1,2,...,M (E.15) 
qi q; 

因为 相关 和 矩阵 R 总 是 非 负 的 ,上 式 分 子 中 的 qfRq; 是 实数 且 非 负 , 即 qi Rq; > 0. KA 
式 (E.15) 可 知 ,对 所 有 i, A; 0; BUC R 的 特征 值 总 是 实数 ,而 且 是 非 负 的 。 

除了 罕见 的 无 噪声 正弦 或 无 噪声 阵列 信号 处 理 问题 外 ,相关 和 抢 阵 R 是 正定 的 ;因此 通常 
有 吧 Rq; > 0, 故 对 所 有 i,4; > 0。 也 就 是 说 ,相关 和 矩阵 的 所 有 特征 值 总 为 正 实数 。 

式 (E.15) 右 边 的 埃 尔 米 特 形式 qi Rg 与 内 积 qi q; 之 比 称 为 瑞 利 商 (Rayleigh quotient) 。 
因此 可 以 说 ,相关 和 矩阵 R 的 特征 值 与 其 相应 特征 向 量 的 瑞 利 商 相等 。 


性 质 4 Ats.. u 分 别 表示 Mx MIKE RY AB AFAEI A, A,,..., Au 所 对 
应 的 特征 向 量 , 则 特征 向 量 g ,中 ,...,qw 相互 正 交 。 
令 和 Hq; 表示 相关 和 矩 阵 的 两 个 任意 特征 向 量 。 如 果 满 足下 式 条 件 





qfq-0 izj (E.16) 
则 说 这 两 个 向 量 相互 正 交 。 利 用 式 (E.1) ,可 以 写 出 特征 向 量 q 和 q ; 的 条 件 分 别 为 
Rq; = Arg (E.17) 
和 
Rq; = 4/4; (E.18) 


在 式 (E.17) 的 两 边 左 乘 以 埃 尔 米 特 转 置 向 量 q ,可 得 
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， qf Rq; = ra} q; (E.19) 
FAL ARSE R 是 埃 尔 米 特 矩阵 ,R” = 及 。 此 外 ,由 性 质 3 可 知 , 对 所 有 j, 特 征 值 4; 都 是 实 
数 。 因 此 ,将 式 (E.18) 的 两 边 进行 埃 尔 米 特 转 置 , 可 得 


qf R = qr (E.20) 
式 (E.20) 的 两 边 右 乘 以 向 量 q; 可 得 
qf Rq; = Aqf q; (E.21) 
将 式 (E.19) 代 人 式 (E.21) ,得 到 
(à: — a;)qa; = 0 (E.22) 
因为 假设 矩阵 R 的 特征 值 不 同 ,有 Aio Pale Sh (E.22) Mae, 4 BY 
qq =0 izj (E.23) 


这 是 人 们 期 望 的 结果 。 即 当 iss 时 ,向 量 9 和 相互 正 交 。 
性 质 5 西 相似 变换 Ads... Aqu DIAE M x MIRE RR A HM A, 
Aas.. eo My 所 对 应 的 特征 向 量 ,并 定义 MxM AAE 
Q= [qi1, q2,..., dar] 
这 里 


LM 45 M 5 ot A E 
A = diag(A;, Ao, -.-, Am) 
R) FHA SEM 及 可 实现 对 角 化 如 下 
QRQ = 人 
条 件 qf q; = 1(i=1,2,...MM) 要 求 每 个 特征 向 量 归 一 化 为 具有 单位 长 度 。 向 量 q; 的 平方 
长 度 或 平方 范 数 ,定义 为 内 积 qi q;。 当 izj 时 ,由 性 质 4 有 ,qiq; =0。 当 这 两 个 条 件 同 时 满 
是 , 即 当 


1 isi 
qf qj = i Ai (E.24) 

就 说 特征 向 量 q ,gq ,...,qw 组 成 正 交 和 集 。 根 据 定义 ,特征 向 量 q ,中 ,...,qxw 满足 方程 
Rq; = Adi i= 1, 2, tte ,M (E.25) 
Q = [q q2,.…., 4] (E.26) 


M x M 对 角 阵 A 的 主 对 角 线 元 素 就 是 特征 值 4 ,4,,... Ay 
A = diag(A,, A,..., Àm) (E.27) 
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因此 ,可 将 式 (E.25) 中 的 1 个 方程 重 写 为 矩阵 形式 


RQ = QA (E.28) 
由 于 式 (E.24) 中 定义 的 特征 向 量 的 正 交 性 ,有 

Q"Q =I 
可 等 价 写 为 

Q7 = Q” (E.29) 


即 矩 阵 Q 非 奇 异 ,其 逆 阵 QUST QRR. RARER A EE. 
KE, ERCE. 2D FA BGI ESR RK RS EEE Q", HAARE. 29) AO PERE, ATG 
QRQ=A (E.30) 
这 个 变换 称 为 酉 相似 变换 。 
于 是 ,我 们 可 证 明 一 个 重要 结果 :相关 矩阵 R 可 通过 本 相似 变换 实现 对 角 化 。 更 进一步 ， 
用 于 使 R 对 角 化 的 和 手 阵 Q ,用 与 矩阵 R 有 关 的 特征 向 量 的 正 交 集 R 作为 它 的 列 。 结 果 对 角 阵 
和 A 用 RR 的 特征 值 作为 其 对 角 线 元 素 。 
对 式 (E.28) 的 两 边 右 乘 以 逆 阵 Q ,然后 利用 式 (E.29) 的 性 质 ,可 得 
R = QAQ” 
M 
= 2 qia 
其 中 M EER 及 的 维 数 。 令 投影 p; 表示 外 积 dgq; 。 则 可 直接 得 出 
P, = P? = Pf 
实际 上 这 意味 着 p; = q;q? 是 单 秩 投影 。 因 此 , 式 (E.31) 表 明 广 义 平稳 随机 过 程 的 相关 和 矩阵 等 
于 所 有 这 样 的 单 秩 投影 的 线性 组 合 , 每 一 项 都 被 各 自 的 特征 值 加 权 。 这 就 是 Mercer 定理 ,也 
称 做 谱 定理 。 
性 质 6 令 h,h,. .Mr 表示 MxM 相 关 给 阵 及 的 特征 值 , 则 这 些 特 征 值 之 和 等 于 矩阵 
R 的 迹 。 
方 阵 的 迹 定 义 为 该 矩阵 对 角 线 元 素 之 和 。 对 式 (上 .30) 的 两 边 求 迹 ,可 写 出 


(E.31) 


tr[QsRQ] = tr[A] (E.32) 
其 中 上 表示 求 迹 算 子 。 对 角 阵 A 以 R 的 特征 值 作 为 其 对 角 线 元 素 , 故 有 
tr[A] = Sa, (E.33) 
= 


FARBER, AS 
tr[(Q”RQ] = tr[RQQ"] 
而 QQ" 等 于 单位 阵 工 因此 有 
tr[Q*RQ| = tr[R] 





O 在 矩阵 代数 中 ,有 如 下 定理 :A Mx N 和 矩阵,B 是 Nx MER. WERE AB 与 矩阵 BA 的 迹 相等 。 
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因此 ,可 将 式 (E.32) 重 写 为 
M 
tr[R] = DA; (E.34) 
i=1 


由 此 可 以 证 明 , 相 关 和 矩阵 R 的 迹 等 于 R 的 特征 值 之 和 。 尽 管 在 证 明 这 个 结果 的 时 候 , 我 们 
利用 了 一 个 性 质 , 即 要 求 R 是 具有 不 同 特征 值 的 埃 尔 米 特 和 矩阵 ,但 这 个 结论 适用 于 任 一 方 阵 。 

性 质 7 we RAKE 及 的 最 大 特征 值 和 最 小 特征 值 之 比 很 大 , 则 及 是 病态 的 。 

为 了 理解 性 质 7 的 影响 ,认识 用 来 有 效 求解 信号 处 理 问 题 算法 的 推导 过 程 并 理解 与 之 相关 
的 摄 动 理 论 (perturbation theory) 是 很 重要 的 (Van Loan,1989)。 我 们 可 以 通过 讨论 线性 系统 方程 

Aw=d 
来 说 明 这 两 个 领域 之 间 的 联系 。 式 中 ,矩阵 A 和 向 量 d 是 与 数据 相关 的 量 ,w 是 表征 线性 FIR 
滤波 器 的 系数 向 量 。 摄 动 理 论 基本 公式 告诉 我 们 ,如 果 和 矩阵 A 和 向 量 d 分 别 被 很 小 的 量 SA 
Al od tèz, E ll SA || / || All A Il od ll /lal 都 属于 某 种 e <<1 的 数量 级 , 则 有 (Colub & Van 
Loan, 1996) 
|| Swi 


Tw) < e x(A) 


其 中 Sw 是 由 9A 和 83d 引 起 的 w 的 变化 量 , 而 x(A) 是 矩阵 A 相对 于 其 道 的 条 件数 。 之 所 以 
称 为 条 件数 ,因为 它 从 数量 上 描述 了 和 矩阵 A 的 病态 或 坏 的 特性 。 特 别 地 , 它 被 定义 为 (Wilkin- 
son, 1963; Strang, 1980; Golub & Van Loan, 1996) 
x(A) = |A| A] (E.35) 

这 里 , || A || 是 矩阵 A 的 范 数 , || Av! 是 逆 阵 A OFELIA, PEE ERR LE 
矩阵 量 值 的 一 种 度量 。 很 显然 ,矩阵 范 数 满足 下 列 条 件 : 

1) |All =0, 仅 当 A=0 时 取 等 号 。 

2) | cA] =Iel || All ,其 中 <。 是 实数 ,1c1 是 其 绝对 值 。 

3) || A+B] <|/All + || Bll 

4) || ABI = | All | Bl 


条 件 3 是 三 角 不 等 式 ,条 件 4 表示 互 一 臻 性。 有 几 种 方法 定义 范 数 | A | 使 得 它 满足 前 述 条 件 
(Ralston, 1965)。 然 而 ,对 于 目前 的 讨论 ,使 用 谱 范 数 ? 将 更 加 方便 ,而 谱 范 数 定义 为 矩阵 乘积 
A”A 最 大 特征 值 的 平方 根 ,其 中 A” 是 矩阵 A 的 埃 尔 米 特 转 置 ; 即 

1Al = (AFA 的 最 大 特征 值 ) 7 (E.36) 


因为 ,对 任 一 矩阵 A, RE ATA 都 是 埃 尔 米 特 和 矩阵 生 非 负 , 由 此 可 得 出 A”A 的 特征 值 也 都 是 
非 负 和 实数 ,正如 所 要 求 的 。 此 外 ,从 式 (E.15) ,我 们 注意 到 AY A 的 特征 值 等 于 其 对 应 的 特征 向 





和 矩阵 A 的 另 一 种 范 数 是 Frobenius 范 数 ,定义 为 (Stewart,1973) 
M N 
> Zlat 


i=1 


其 中 MAN EERE A 的 维 数 , ay 是 矩阵 A 的 第 i 行 第 j 列 元 素 。 





|All = 
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量 的 Rayleigh 系数 。 将 式 (E.36) 的 两 边 平方 并 利用 此 性 质 , 可 以 写 出 中 
HAH AX 


x 
|| Al? = max x 
|| Ax(|? 


[x]? 


其 中 分 母 上 x 上 ?是 向 量 x 的 欧 氏 范 数 平方 ,或 平方 长 度 , 分 子 ‖ Axl? 亦 然 。 于 是 ,可 用 等 效 
形式 将 矩阵 A 的 谱 范 数 写 为 





= max 


| Ax| 
[x 
根据 这 个 关系 式 ,A WARE E HRA, HE, EE aS ed E 3 ERE 
法 被 放大 。 而 且 被 放大 最 大 的 向 量 就 是 A*A 的 最 大 特征 值 所 对 应 的 特征 向 量 (Strang, 1980)。 
现 考 虑 将 式 (E.36) 定 义 应 用 于 相关 矩阵 R。 因 为 及 是 埃 尔 米 特 矩阵 ,R” = R; 故 由 性 质 1 
可 推 知 , 者 Ane te 及 的 最 大 特征 值 , 则 ROR 的 最 大 特征 值 等 于 Al EE , IRERE R 的 谱 范 
数 为 





Al], = max (E.37) 





HR]; = Amax (E.38) 
类 似 地 可 以 证 明 , MERER Ro WEB 
ay) 1 
[IR]; = 和 (E.39) 


其 中 4% 是 R 的 最 小 特征 值 。 因 此 ,通过 采用 谱 范 数 作为 计算 条 件数 的 基础 ,容易 证 明 相关 甜 
阵 R 的 条 件数 为 





Amax 
xR) = 人 (E.40) 


OT ECE AS BRON A PE DE RPE (BC. TER, y(R) > 1 总 是 成 立 的 。 

假设 相关 和 矩阵 R 是 归 一 化 的 ,使 得 最 大 元 素 r(0) 等 于 1。 如 果 相 关 和 矩阵 R 的 条 件数 或 特 
(EAP BRERA MAE R 中 会 包含 很 大 的 元 素 。 这 个 特性 会 在 求解 含有 R 的 方程 组 时 
引起 麻烦 。 在 这 种 情况 下 ,我 们 说 相关 和 矩阵 R 是 病态 的 ,从 而 证 明了 性 质 7。 

性 质 8 BHM PL EK REE EM RXR MAR. 

4 A, Aq; (i =1,2,..., MARIA BS BALE u(n) AREE R 的 特征 值 。 

为 了 表达 方便 , 重 写 式 (E.15), 有 





H 
a = Ra i=1,2,...,M (E.41) 
qi q; 
式 (E.41) 分 子 中 的 埃 尔 米 特 形式 可 以 展开 形式 表示 为 
M M 
qf Rg = X, D qžr(l — k)qu (E.42) 
k=1 [=1 





O Wx EER A A 的 一 个 特征 向 量 。 因 此 目前 只 能 说 | Al? 是 特征 向 量 的 最 大 Rayleigh 商 。 然而 ,在 最 大 化 定理 
被 证 明之 后 ,性 质 7 可 适用 于 任何 向 量 ( 参 见 性 质 9)。 
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这 里 q EHE g 的 第 个 元 素 ,r(l1 - 外 是 矩阵 R 的 第 上 行 第 1 列 元 素 ,gy 是 列 向 量 qi 的 
第 1 个 元 素 。 利 用 式 (1.16) 的 Einstein-Wiener-Khintchine 关系 ,可 以 写 出 


1 f" | 
r(l—k)= zS S(w)el?l— dw (E.43) 


其 中 S(w) 是 过 程 wx(m) 的 功率 谱 密度 。 因 此 ,可 重 写 式 (E.42) 为 





1 MM * x oll- 
qf Rq; = pm papa aia f (oe! Ck) dw 
1 n M -M ; (E.44) 
= 50 | Slo) E ahe D quel 
T Jon k=1 1=1 
令 序列 qi ’ qa 9 dx% 的 离散 傅 里 时 变换 可 记 为 
Qile”) = > qhe” (E.45) 
将 式 (E.45) 代 入 式 (E.44) ,可 得 
qf Rq, = 元 f "IPS (w) do (E.46) 
类 似 地 ,可 以 证 明 
1 fr 
qa: = 5 / Qie”)? dw (E.47) 
因此 ,根据 有 关 的 功率 谱 密度 ,可 利用 式 (E.41) 重 新 定义 相关 和 矩阵 R 的 特征 值 ), 为 
aL OPS (w) do 
(E.48) 
SA ao 
令 Sw 和 S$。 分 别 表示 功率 谱 密度 S(w) 的 绝对 最 小 值 和 最 大 值 。 则 
f [Ql Slo) do = Senin [ex Qie) do (E.49) 
向 
exe rps) do < Saux [I dew (B.50) 
因此 ,利用 式 (E.48), 可 以 推出 特征 值 A; 以 有 关 功 率 谱 密 度 的 最 大 值 和 最 小 值 为 界 , 即 
Smin = Mi = Snax i=1,2,...,M (E.51) 
相应 地 ,特征 值 扩展 x (R) 被 限制 为 
S 
x(R) = 5 < So (E.52) 


令 人 感 兴 趣 地 注意 到 , HAREE M 趋 于 无 穷 时 ,最 大 特征 值 m AF S。 ,最 小 特征 值 
Xsan 趋 于 Suno AE, SHEREE R 的 维 数 M 趋 于 无 穷 时 ,其 特征 值 扩散 度 x(R) 趋 于 Saal Saino 
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性质 9 极 小 - 极 大 定理 AAE RAHE A ,A,，,...， hy 它们 按 递减 顺序 排 
列 如 下 


最 小 -最 大 定理 指出 
xR 
A = min, max =a xk =1,2,...M (E.53) 
其 中 是 所 有 M x1 复 向 量 空间 的 子 空间 。dim(9) 表 示 空 间 9 的 维 数 ,xe 意 味 着 向 量 x( 假 设 
非 震 ) 随 子 空间 9 而 变化 。 
令 CY 表示 M 维 复 向 量 空间 。 为 了 方便 目前 的 讨论 ,定义 复 ( 线 性 ) 向 量 空间 C* 是 所 有 复 
向 量 的 集合 ,这 些 复 向 量 可 表示 为 M 个 基 向 量 的 线性 组 合 。 特 别 地 ,可 以 写 出 


CY = {y} (E.54) 
其 中 


M 
y= Zaq (E.55) 
是 任 一 复 向 量 ,q; 是 基 向 量 , a AKAM. WHA hs.. ,qm 可 使 用 向 量 的 任 一 正 交 
集 , 它 满足 如 下 条 件 


1 i=j 
Hq = 
qf qj l i (E.56) 


换 句 话说 ,每 个 基 向 量 都 进行 了 归 一 化 ,使 得 欧 氏 长 度 或 范 数 为 1 且 正 交 于 该 集合 中 其 他 基 向 
量 。 复 向 量 空 间 CY HERM 是 张 成 整个 空间 所 需要 的 基 向 量 的 最 少数 。 

基 函 数 定义 了 复 向 量 空间 的 坐标 。 任 意 维 数 可 相 容 的 复 向 量 都 可 简单 地 表示 为 该 空间 的 
一 点 。 实 际 上 , 复 向 量 空间 的 思想 是 欧 氏 几何 的 自然 推广 。 这 个 思想 的 核心 是 子 空间 的 概念 。 
如 果 g 包 括 了 定义 CY HM 个 基 向 量 的 子 集 , 则 说 9 是 复 向 量 空间 Cx 的 子 空 a 换 名 话说 ,天 
维 子 空间 定义 为 复 向 量 的 集合 , 它 可 写 为 基 向 量 a... ,qx 的 线性 组 合 








k 
x= Daq (E.57) 
i=1 


显然 ,有 三 M。 但 要 注意 向 量 x 的 维 数 是 Mo 

这 些 思想 用 图 E.1 所 示 的 三 维 向 量 空间 来 说 明 。q ,gq 平面 表示 两 维 子 空间 9 。 向 量 y 
和 向 量 x 的 表示 ( 即 子 空间 8 内 y 的 部 分 ) 也 见 该 图 。 

回 到 目前 的 问题 , 即 式 (E.53) 极 小 - 极 大 定理 的 证 明 。 这 项 工作 进行 如 下 :首先 利用 式 
(E.31) 的 谱 定 理 将 M x M 相关 矩阵 R 分 解 为 


R= > Ngqigf 


EE a, 是 R 的 特征 值 ,q; 是 对 应 的 特征 向 量 。 考 虑 到 特征 向 量 dg ,时 ,...,qv 满足 式 (E.24) 
的 正 交 条 件 , 故 可 用 它 作为 复 向 量 空间 C* AM 个 基 向 量 。M x 1 向量 x 被 限制 在 维 子 空间 
9 内 ,如 式 (E.57) 所 定义 。 然 后 ,利用 式 (E.31) ,可 将 向 量 x 的 瑞 利 商 写 为 
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HRX > a? Ài 


=1 


m. 








a = (E.58) 


Da 


=1 


~, 


位 于 子 空间 [qi, a] 
内 向 量 y 的 部 分 





43 
图 E.1 三 维 ( 实 ) 向 量 空间 中 一 向 量 投影 到 子 空间 上 


式 (E,58) 表 明 % 维 子 空间 F( 即 特征 向 量 @ ,中 ,.… ,qs 张 成 的 子 空间 ) 内 向 量 x 的 瑞 利 商 是 特 
征 值 41 ,4,,.…. ,24 的 加 权 平 均 。 因 为 假设 1: > ?>… :> 和 , 故 对 任 一 左 维 子 空间 9 ,有 





x? Rx 2 
xef xx aie 
这 个 结果 意味 着 
x? Rx 





min max—z 
dim(F)=k xef X”X 
x#0 


下 面 来 证 明 ,对 于 任 一 由 特征 向 量 qi ,qs ,.… ,q; 张 成 的 大 维 子 空间 9 ,其 中 和， 总， 让 | 
是 11,2,. ,Mr 的 子 集 ,至 少 存在 一 非 零 向 量 x 为 9 和 特征 向 量 qi , qi,1 ,qn 张 成 的 子 空间 9 
所 共有 。 为 此 ,考虑 由 MM 个 齐 次 方程 组 


k MO 
È asg, = >> biq: (E.60) 
j= i= 


Shy (E.59) 


其 中 (M+1) 个 未 知 数 构成 如 下 : 

1) 天 个 标量 , 即 a,,0,,...,0, 在 左边 。 

2) M -1+& 个 标量 , 即 bi, besis- oo bu 在 右边 。 
因此 , 式 (E.60) 的 方程 组 总 有 非 平凡 和解。 此 外 ,由 性 质 2 知道 ,特征 向 量 gq, a, ,.…. ,qs a, 
q+1，.… ,qn 特征 向 量 是 线性 无 关 的 。 因 此 , 至少 有 一 非 零 向 量 x= Di aq, 为 qi ,gb ，.…， 
q 空间 和 gy ,qi,1，.…. ,qx 空间 所 共有 。 于 是 ,利用 式 (E.60)、 式 (E.57) 和 式 (E.41), 也 可 将 向 
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E x 的 瑞 利 商 写 为 特征 值 4; Anis. An 的 加 权 平 均 , 即 


M 
x? Rx Ding 








E.61 
Ty Sa (E.61) 
BBE A, SAS... San A x EFS A A E BT h 
xzRx _ 
mop xx ht 
x¥#0 
因此 
H 
ame nee wiy o (E.62) 
因为 9 是 维 的 任意 子 空间 。 


下 面 剩 下 要 做 的 事情 是 组 合式 (E.59) 和 式 (E.62) 的 结果 ,从 而 立即 得 出 性 质 9 所 述 式 
(E.53) 的 极 小 - 极 大 定理 。 
由 性 质 9, 有 以 下 两 个 重要 的 观察 结果 : 


1) 式 (E.53) 所 表述 的 极 小 - 极 大 定理 ,对 相关 和 矩 阵 R 的 特征 结构 ( 即 特征 值 和 特征 向 量 ) 
没有 任何 特殊 要 求 。 实 际 上 ,这 个 定理 可 作为 定义 特征 值 4; ,k=1,2,...， M 的 基础 。 
2) 极 小 - 极 大 定理 指出 了 相关 和 矩阵 特征 结构 独特 的 两 个 特性 : (a) 特 征 向 量 给 出 了 M 维 
空间 的 特殊 基 , 从 能 量 意 义 .上 , 它 是 最 有 效 的 ; (b) 特 征 值 是 M x 1 输入 (观测 ) 向 量 
uln) 的 某 些 能 量 。 这 个 问题 将 在 性 质 10 中 进一步 讨论 。 
还 有 一 点 值得 注意 的 是 , 式 (E.53) 亦 可 表示 为 如 下 等 价 形式 
x? Rx 


A, = max min 一 一 一 
k im(f)=M-k+1 xe" xx (E.63) 
xÉ 


式 (E.63) 称 为 极 大 - 极 小 定理 。 
由 式 (E.53) 和 式 (E.63), 可 容易 推导 出 下 面 两 种 特殊 情况 下 的 结果 : 


1) 当 大 = M 时 , 子 空间 9 完全 占据 整个 向 量 空间 C*。 在 这 种 情况 下 , 式 (E.53) 变 为 





A, = max H (E,64) 


Fp, DREE R 的 最 大 特征 值 。 
2) 当 大 = 工时 , 子 空间 9 完全 占据 整个 向 量 空 间 CY 。 在 这 种 情况 下 , 式 ( 了 .63) 变 为 
x? Rx 


x#0 
其 中 Ay EME R 的 最 小 特征 值 。 


性 质 10 Karhunen-Loéve 展开 M x 1 向量 u(n) 表 示 取 自 均值 为 零 和 相关 和 矩阵 为 R 的 
广义 平稳 随机 过 程 的 数据 序列 。g ,gb ，.…. dy 是 矩阵 及 的 M 个 特征 值 所 对 应 的 特征 向 量 。 


652 自 适 应 滤波 器 原理 


则 向 量 u(n) 可 表示 为 这 些 特征 向 量 的 线性 组 合 , 即 


M 
u(n) = 2 a(n); (E.66) 
展开 式 的 系数 是 均值 为 零 ,由 内 积 
c(n) = gfiu(n) i=1,2,...,M (E.67) 
定义 的 非 相关 随机 变量 。 


式 (E.66) 和 式 (E.67) 中 所 描述 的 随机 向 量 u(n) 表 示 就 是 Karhunen-Lozve 展开 式 。 特 别 
地 , 式 (E.67) 是 展开 式 的 “分 析 ” 部 分 ,因为 它 依 据 输入 向 量 u(n) 定 义 了 c;(n)。 男 一 方面 , 式 
(E.66) 是 展开 式 的 “综合 "部 分 ,因为 它 从 c (nz) 中 重建 了 输入 向 量 u(n)。 给 定式 (E.66), 式 
(EE.67) 中 c;(n) 的 定义 可 直接 得 出 ,其 根据 是 特征 向 量 qu... ,qn 组 成 一 个 正 交集 (假设 其 
均 归 一 化 为 单位 长 度 )。 相 反 , 这 个 性 质 可 用 于 导出 式 (E.66) ,只 要 给 定式 (E.67)。 
展开 式 系 数 作 为 随机 变量 可 表征 为 
Elc(n)|=0 i=1,2,...,M (E.68) 


x A i=j 
E[c:(n)c*(n)] = h ij (E.69) 
式 (E.68) 表 明 , 所 有 展开 式 系数 的 均值 为 零 。 根 据 式 (E.67) 及 随机 向 量 uCn) 本 身 的 均值 假设 
为 零 , 可 直接 得 出 这 一 结论 。 式 (E.69) 表 明 该 展开 式 的 系数 是 无 关 的 ,而 且 每 个 系数 的 均 方 值 
等 于 各 自 的 特征 值 。 通 过 利用 相关 矩阵 及 定义 中 式 (E.66) 展 开 式 作为 外 积 u(n)u”(n) 的 数 
学 期 望 ,然后 引用 西 相似 变换 ( 即 性 质 5) ,很 容易 得 到 第 二 个 式 子 。 

为 了 对 Karhunen-Loave 展开 式 做 出 物理 解释 ,可 将 特征 向 量 q ,q ，,...， qx 看 做 M 维 空间 
的 坐标 ,从 而 用 它 在 这 些 轴 上 投影 c,(n) ,cs(n),... ,cn(n) 的 集合 来 表示 随机 向 量 un) IE 
外 ,由 式 (E.66) 可 以 看 出 


M 
È lea = luto) (E.70) 
其 中 u(n) || 是 wu(n) 的 欧 拓 范 数 。 也 就 是 说 ,系数 o (mn) 具 有 一 个 能 量 , 它 等 于 观测 向 量 
u(n) 沿 第 i 个 坐标 轴 测 得 的 能 量 。 显 然 , 这 个 能 量 是 随机 变量 ,其 均值 等 于 第 i 个 特征 值 , 即 
Efla P] =a; i=1,2,...,M (E.71) 
这 个 结果 可 从 式 (E.67) 和 式 (E.69) 直 接 得 出 。 


E.3 低 秩 建 模 


统计 信号 处 理 的 一 个 关键 问题 是 特征 选择 (feature selection) , 意 指数 据 空 间 变 换 为 特征 空 
间 (feature space) 的 过 程 。 从 理论 上 讲 , 特 征 空间 与 原来 的 数据 空间 同 维 数 。 然 而 ,我 们 希望 以 
这 样 一 种 方式 来 设计 该 变换 ,使 得 能 用 较 少 的 “有 效 ” 特 征 来 表示 数据 空间 , 且 保 持 输 入 数据 固 
有 的 大 部 分 信息 内 容 。 换 言 之 ,数据 向 量 可 降 维 处 理 (reduction in demensionality)。 
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具体 来 说 ,假设 有 一 个 M 维 数据 向 量 u(n) , 它 表 示 平 稳 随机 过 程 的 一 种 特殊 实现 。 同 时 
假设 通过 一 噪声 信道 传输 该 向 量 ,传输 中 使 用 由 p 个 不 同 数组 成 的 一 个 新 集合 ,其 中 p < M。 
本 质 上 ,这 是 一 个 特征 选择 问题 ,可 借助 Karhunen-Lodve 展开 式 来 解决 这 个 问题 ,描述 如 下 。 

根据 式 (E.66) ,数据 向 量 u(n) 可 展开 为 其 相关 和 矩阵 R 特征 值 4 ,Xs,... An 所 对 应 的 特 
征 向 量 g% ,中 ,.. 0u 的 线性 组 合 。 假 设 特 征 值 都 不 同 且 按 递减 项 序 排 列 如 下 

Ay > Ay mr A > ÀM (E.72) 


使 用 和 矩阵 R 所 有 特征 值 的 式 (E.66) 的 数据 表示 是 精确 的 ,从 这 种 意义 上 讲 , 这 种 表示 没有 信 
息 损失 。 然 而 ,如 果 我 们 有 先 验 知识 , 即 预知 式 (E.72) 尾 部 的 M - p 个 特征 值 都 很 小 。 那 么 ， 
我 们 可 利用 这 个 先 验 知识 ,保留 矩阵 及 的 p 个 最 大 特征 值 ,而 在 i = p 处 将 式 (E.66) 的 Kar- 
hunen-Loeve 展开 式 截断 。 因 此 ,可 将 数据 向 量 u(n) 近 似 重 建 为 

a(n) = $ olna p<M (E.73) 


i= 


向 量 h(n) 的 秩 为 p ,小 于 原 数 据 向 量 u(n) 的 秩 MM。 由 于 这 个 原因 , 式 (E.73) 定 义 的 数据 模型 
称 为 低 秩 模型 (low-rank model)。 这 里 要 注意 的 重要 一 点 是 ,我 们 可 通过 p 个 数 ic,(n);i =1,2， 
…,p| 来 重建 近似 的 有 (n)。 根 据 式 (E.67), ci(n) 自 身 由 ul(n) 定 义 。 换 言 之 ,以 oln), 
cy(nn) ,... ,cs(nn) 为 元 素 的 新 闻 量 eC(n), 可 看 做 原 数 据 向 量 u(z) 的 降 秩 表示 。 

图 E.2 描述 了 特征 选择 过 程 的 本 质 。 我 们 从 在 M 维 数 据 空间 [其 中 某 一 特殊 点 确定 了 数 
据 向 量 u(n) 的 位 置 ] 出 发 。 通 过 式 (E.67) ,将 该 特殊 点 变换 为 p(p < M) 维 特征 空间 的 一 个 新 
的 点 。 图 中 所 示 的 变换 有 时 也 称 为 子 空间 分 解 或 降 秩 (reduced-rank) 分 解 。 

显然 ,在 运用 式 (E.73) 重 建 数据 向 量 am) 时 ,由 于 人 Cn) 的 秩 低 于 n(n) 的 秩 , 故 会 引信 误 
差 。 重 建 误差 向 量 定义 为 

e(n) = u(n) — a(n) (E.74) 

将 式 (E.66) 和 式 (E.73) 代 入 式 (E.74) ,得 到 


e(n) = Zone (E.75) 
因此 , 均 方 误差 为 
e = Elle(n) ll 
= Ele”(n)e(n)] 
M M 
-E| $ $ ctmeimat'a,| 
i=p+1 j=p+1 (E.76) 


M M 
= > > Elte] 


i=p+1 


i=p+1 


该 式 证 明 : 式 (E.73) 定 义 了 一 个 良好 的 重建 ,只 要 特征 向 量 Ass... Ay BDF A, Apo 
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图 E.2 含有 子 空间 分 解 的 变换 


E3.1 ” 低 秩 建 模 的 应 用 


为 了 体现 基于 式 (了 .73) 的 低 秩 模型 的 实用 价值 ,考虑 沿 含有 噪声 的 通信 信道 传输 数据 向 
量 u(n) 的 问题 。 假 设 接收 信号 受到 信道 噪声 向 量 y(n) 的 干扰 ,噪声 建 模 为 零 均值 的 加 性 高 
斯 白 噪声 。 则 
E[u(n)v"(n)] = O (E.77) 
和 
E[v(n)v4 (n)] = oI (E.78) 
式 中 工 表示 单位 阵 , o 为 噪声 向 量 元 素 的 方差 。 式 (E.77) 说 明了 噪声 向 量 v(n) 和 数据 向 量 
ua(zm) 不 相关 ;而 式 (E.78) 说 明 噪 声 向 量 的 元 素 互 不 相关 。 
在 图 E.3 中 ,给 出 了 沿 信道 完成 数据 传输 的 两 种 方法 。 一 种 是 直接 方法 , 另 一 种 是 间接 方 
法 。 在 图 E.3(a) 所 示 的 直接 方法 中 ,接收 信号 向 量 为 
Yairect (7) Ta u(n) + v(n) (E.79) 
因此 ,传输 误差 的 均 方 值 为 
Edirect = Ef ||Yairea(”) z u(n)||?] 
= E[|v(n)|?] 
= E[v"(n)v(n)]| 
由 式 (E.78) 可 以 看 出 ,噪声 向 量 v(n) 的 每 个 元 素 v,(n) 的 方差 为 o2。 因 此 ,可 简单 地 将 Eare 
表示 为 


M 
Edirect = > El] (E.80) 
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其 中 M fi y(n) ER. 
下 面 ,考虑 图 E.3(b) 所 示 的 间接 方法 ,其 中 输入 向 量 u(n) 首 先 被 加 到 发 送 滤波 器 组 ,其 
各 抽 头 权 向 量 等 于 u(n) 相 关 甜 阵 R 的 p 个 最 大 特征 值 4 ,X,,... ,4, 所 对 应 的 特征 向 量 g@ ， 
中 ，..… ,qs 的 埃 尔 米 特 转 置 。 结 果 产 生 的 p x 1 向 量 e(n)[ 其 元 素 由 0(n) 与 q,g,...,qg, 的 
内 积 组 成 ] 根 据 式 (E.67) 构 成 发 送信 号 向 量 
e(a) = [qi, q2,..., Gp} a(n) (E.81) 
相应 地 ,接收 信和 号 向 量 定义 为 
r(n) = e(n) + v(n) (E.82) 
其 中 信道 噪声 向 量 y(n) 的 维 数 现 为 p ,与 ce(n) 相 一 致 。 为 了 重建 原始 数据 信号 u(n) ,将 接收 
信号 向 量 r(n) 加 到 一 接收 滤波 器 组 ,其 各 抽 头 权 向 量 由 特征 向 量 q ,gq ,... ,q, 定义 。 结 果 产 
生 的 接收 机 的 输出 向 量 为 
Yindirect (171) = [ai q2, --. , qpjr(n) 


(E.83) 
= [q q2,..., qple(n) + [qu qz,..., qp lv (n) 






i => ydirect(G) 


y(n) 
(a) 直接 方法 






Yindirect(n) 


2) r(n) 


y(n) 


(b) 间接 方法 
图 EE.3 数据 传输 的 两 种 方法 
因此 ,计算 出 间接 法 所 有 重建 误差 的 均 方 值 ,可 得 
Bindirect = E[|yinaireatl 7) 一 u(n)||"} 


M 


i=p+1 


(E.84) 


式 (EE.84) 的 第 一 项 是 数据 沿 信道 传送 之 前 由 数据 向 量 ma(n) 低 秩 建 模 所 引起 的 。 第 二 项 是 由 
于 信道 噪声 的 影响 造成 的 。 
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比较 式 (E.84) 的 间接 法 与 式 (E.80) 的 直接 法 容易 看 出 ,采用 低 秩 建 模具 有 一 个 明显 的 优 
点 ,只 要 满足 如 下 条 件 
M 
之 < (M — pjo’ (E.85) 
i=p+ 
这 是 一 个 令 人 感 兴趣 的 结果 (Schar & Tufts, 1987). CRH , 当 数 据 向 量 u(n) 的 相关 和 矩阵 R 的 
末端 特征 值 Apio. oo An 都 很 小 时 ,采用 近似 于 原 数据 向 量 u(n) 的 低 秩 传送 [如 图 E.3(b) 所 
示 ] 所 产生 的 均 方 误差 小 于 不 加 任何 近似 地 直接 传送 原 数 据 向 量 [ 如 图 E.3(a) 所 示 ] 所 产生 的 
均 方 误差 。 
式 (E.84) 所 述 的 结果 特别 重要 ,因为 它 指 明了 通常 所 说 的 “偏差 -方差 折 中 ”的 本 质 。 特 别 
地 ,用 低 秩 模型 来 表示 数据 向 量 u(n), 会 由 此 产生 偏差 。 但 有 趣 的 是 ,这 样 做 反而 降低 了 方差 
[ 即 由 加 性 噪声 向 量 vn) 引起 的 均 方 误 差 ]。 实 际 上 ,这 里 给 出 的 例子 清楚 地 说 明了 采用 比较 
简单 模型 的 动因 ,这 种 模型 不 可 能 精确 匹配 那些 用 来 产生 数据 向 量 u(n) 的 基础 物理 过 程 , 因 
此 产生 偏差 ;但 该 模型 不 易 受 噪声 影响 , 故 方 差 减 小 。 


E.4 特征 滤波 器 


通信 理论 中 的 一 个 基本 问题 就 是 确定 最 优 有 限 长 脉冲 响应 (FIR) 滤 波 器 ,其 最 优 准 则 是 使 
输出 信 噪 比 最 大 。 在 本 节 中 ,我 们 将 看 到 这 个 滤波 器 优化 问题 与 特征 值 问题 有 关 。 

考虑 其 脉冲 响应 用 序列 w 表示 的 线性 FIR 滤波 器 。 加 到 滤波 器 输入 端的 序列 x(n) 由 有 
用 信号 分 量 wu(n) 加 上 一 个 加 性 噪声 分 量 v(n) 组 成 。 信 号 uw(n) 取 自 零 均值 ,相关 和 矩阵 为 R 
的 广义 平稳 随机 过 程 。 零 均值 噪声 "(z) 是 具有 常数 功率 谱 密度 (由 方差 c 确定 ) 的 白 噪 声 。 
假设 信号 x(z) 和 噪声 y(n ) 是 不 相关 的 , 即 

E[u(n)jv*(m)] = 0 对 所 有 (n,m) 

滤波 器 输出 由 y(n) 表 示 。 这 种 情况 如 图 E.4 所 示 。 


FIR 滤波 器 
{wn} 


图 E.4 线性 滤波 


由 于 滤波 器 是 线性 的 , 故 可 运用 鱼 加 原理 。 因此 我 们 分 别 考虑 信号 和 噪声 的 影响 。 设 P, 
表示 滤波 器 输出 y(z) 的 信号 分 量 的 平均 功率 。 则 可 写 出 
P, = w# Rw (E.86) 
其 中 向 量 w CRAKEAR, R 为 滤波 器 输入 x(n) 的 信号 分 量 u(n) 的 相关 矩阵。 
其 次 ,单独 考虑 噪声 影响 。 设 N, 表示 滤波 器 输出 y(n) 的 噪声 分 量 的 平均 功率 。 这 是 式 
(E.86) 的 特例 ,可 表示 为 





噪声 
(n) 
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N, = o?wiw i (E.87) 


其 中 o 为 滤波 器 输入 白 噪 声 的 方差 。 
设 (SNR)。 表示 输出 信 噪 比 。 式 (了 .86) 除 以 式 ( 卫 .87) ,可 以 写 出 
(SNR), = 总 
w' Rw 


ow" w 


(E.88) 





则 这 个 最 优化 问题 现 可 表述 如 下 : 
确定 FIR 滤波 器 系数 向 量 w, BE ww 约束 条 件 下 ,使 输出 信 品 比 (SNR)。 最 大 。 


式 (E.88) 表 明 ,除了 比例 因子 Vo 外 ,输出 信 噪 比 等 于 FR 滤波 器 系数 向 量 w 的 瑞 利 商 。 
于 是 ,我们 看 到 ,这 里 所 述 的 最 优 滤波 问题 可 看 做 特征 值 问 题 。 事 实 上 , 这 个 问题 的 解 可 直接 
从 极 小 - 极 大 定理 得 出 。 具 体 地 ,利用 式 (E.64) 给 出 的 极 小 - 极 大 定理 的 特殊 形式 ,我 们 可 表述 
如 下 : 


e 输出 信 噪 比 的 最 大 值 为 
(SNR), max = Ane (E.89) 


其 中 为 相关 和 矩阵 R CREE GER A ne A 0”? 具有 相同 单位 ,但 物理 意义 不 同 )。 
@ 获得 式 ( 卫 .89) 最 大 输出 信 噪 比 的 最 优 FIR 滤波 器 的 系数 向 量 定义 为 
Wo = Qmax (E.90) 
其 中 que ATER FEE R 的 最 大 特征 值 对 应 的 特征 向 量 。 相 关 和 矩阵 R 属于 滤波 器 输入 中 
的 信号 分 量 uln)o 
脉冲 响应 系数 等 于 特征 向 量 元 素 的 FIR 滤波 器 称 为 特征 滤波 器 (Makhoul,1981) 。 相 应 地 ， 
我 们 可 以 说 ,最 大 特征 滤波 器 ( 即 特征 滤波 器 与 滤波 器 输入 信号 分 量 的 相关 和 矩阵 的 最 大 特征 值 
有 关 ) 就 是 最 优 滤波 器 。 需 要 注意 的 是 ,以 这 种 方式 定义 的 最 优 滤波 器 ,由 滤波 器 输入 信号 分 
量 的 相关 和 矩阵 的 特征 分 解 惟一 表征 。 滤 波 器 输入 端 白 噪 声 的 功率 谱 只 不 过 影响 输出 信 品 比 的 
最 大 值 。 特 别 地 ,为 了 计算 最 大 特征 滤波 器 ,我们 采用 以 下 步 又: 
1) 对 相关 和 矩阵 R 进行 特征 分 解 。 
2) 只 保留 最 大 特征 值 .及 其 相应 特征 向 量 Qan o 
3) 特征 向 量 qu 定义 了 最 优 滤波 器 的 脉冲 响应 ,As/c 定义 了 输出 信 噪 比 的 最 大 值 。 
这 种 最 优 滤波 器 可 看 做 匹配 滤波 器 的 随机 复 本 。 上 述 最 优 滤波 器 使 得 加 性 噪声 中 随机 信 
号 ( 即 离散 广义 平稳 随机 过 程 的 样本 函数 ) 的 输出 信 品 比 最 大 。 另 一 方面 ,匹配 滤波 器 使 加 性 
噪声 中 已 知 信号 的 输出 信 噪 比 最 大 (North,1963; Haykin, 2001) 。 


E.5 特征 值 计算 


一 般 来 说 , 方 阵 特征 值 的 计算 是 一 个 复杂 的 问题 。 在 1958 年 到 1970 年 之 间 ,由 一 个 专家 
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小 组 所 做 出 的 特殊 共同 努力 开发 了 若干 广泛 用 于 矩阵 特征 值 计算 的 整套 程序 (Parlett, 1985) 。 
其 中 ,很 容易 得 到 如 下 程序 库 : 


è MATLAB: 一 个 基于 矩阵 的 数值 计算 系统 ,用 于 交互 计算 、 可 视 化 、 建 模 和 算法 编制 (Rid- 
dle, 1994) 

@ MATHEMATICA :一 个 用 于 数值 计算 、 符 号 和 图 表 计 算 和 可 视 化 的 综合 数学 系统 (Riddle， 
1994) 

@ LINPACK: 标 准 子 程序 包 ,用 于 线性 代数 计算 (Dongarra et al. ,1979) , 它 没有 特征 值 子 程 
序 ,但 包括 奇异 值 分 解 子 程序 

© LAPACK: 一 个 用 于 单 地 址 空间 机 线性 代数 库 ,是 EISPACK 的 继承 ,具有 特征 值 子 程序 

@ ScaLAPACK :一 个 多 地 址 空间 机 的 线性 代数 库 (Demmel, 1994) 


这 些 程序 库 中 封装 的 所 有 特征 程序 , 均 已 进行 过 很 好 的 证 明和 测试 。 

几乎 所 有 上 述 特征 程序 的 来 源 都 可 以 追溯 到 Wilkinson 和 Reinsch(1971) 合 著 的 《自动 化 计 
算 手 册 》 第 二 卷 “ 线 性 代数 ”"。 这 个 参考 文献 是 特征 值 计算 的 “圣经 ”。 

这 些 程 序 的 另 一 个 有 用 的 来 源 是 Press 等 (1988) 的 著作 《C 编程 语言 ) 及 其 姐妹 篇 《FOR- 
TRAN 和 Pascal 语言 >。 其 中 ,用 C 编写 的 特征 程序 只 能 处 理 实 值 和 矩阵 。 然 而 ,将 这 些 特征 程序 
推广 应 用 于 处 理 埃 尔 米 特 和 矩阵 ,是 一 件 直 截 了 当 的 事情 。 

为 了 这 个 目的 , 设 A 表示 一 个 M x M 的 埃 尔 米 特 和 矩阵, 其 实 部 和 虚 部 可 写 为 


A =A, + jA; (E.91) 
相应 地 , 设 一 个 相关 的 M x 1 特征 向 量 q 可 写 为 
q= 4, +j (E.92) 
于 是 ,M x M 复 特 征 值 问题 
(A, + jA,)(a, + ją) = Alq, + Jai) (E.93) 


可 重 写 为 2M x 2M 实 特 征 值 问题 


A, 一 A; q, _ q, 
K ale] 7 "| | (E.94) 
其 中 特征 值 A 为 实数 。 埃 尔 米 特性 质 
A =A 
等 价 于 A7 =A, 和 A7 = -A,。 相 应 地 , 式 (E.94) 中 的 2M x 2M 矩阵 不 仅 是 实 值 ,而 且 对 称 。 
注意 ,对 于 给 定 的 特征 值 A ,向量 
=q; 
q, 
也 是 特征 向 量 。 这 意味 着 , AA... Ay AM xM IRERE A 的 特征 值 , 则 式 
(E.94) 89 2M x 2M ITERE RERI RIETEN A, Ap Any Any Aw Amo 于 是 ,我 们 可 观察 到 如 下 
两 点 : 


1) 式 (E.94) 中 和 矩阵 的 每 个 特征 值 都 重复 两 次 ，; 
2) 相关 的 特征 向 量 成 对 组 成 ,每 个 形式 如 q + jgq; 和 j(q, + jq;) ,区 别 仅 在 于 旋转 了 90°, 
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因此 ,为 了 借助 实 值 特征 程序 来 解决 式 (E.93) 的 M x M 复 特 征 值 问题 ,我 们 从 与 式 (E.94) 
的 2M x2M 增 广 实 特征 值 问 题 有 关 的 每 对 特征 值 中 选择 一 个 特征 值 和 一 个 特征 向 量 。 


E5.1 矩阵 特征 值 计 算 的 策略 


在 后 面 的 实际 问题 中 ,所 有 现代 特征 程序 中 有 两 种 不 同 的 策略 :对 角 化 和 三 角形 化 。 由 于 
不 是 所 有 和 矩阵 都 可 以 通过 一 系列 西 相似 变换 进行 对 角 化 ,因此 对 角 化 策略 只 能 用 于 埃 尔 米 特 
矩阵 ,如 相关 和 矩阵 。 另 一 个 方面 ,三 角形 化 策略 是 一 般 的 ,因为 它 可 用 于 任何 方 阵 。 下 面 描述 
这 两 种 策略 。 

对 角 化 ”这 个 策略 的 思想 是 ,通过 重复 使 用 西 相似 变换 ,使 埃 尔 米 特 和 矩阵 A 逐步 接近 对 
角形 式 , 例 如 i 

A- QTAQ， 

一 OF QF AQQ, (E.95) 

一 QF QF Qf AQ QQ; 
等 等 。 这 个 本 相似 变换 序列 在 理论 上 是 无 限 长 的 。 但 在 实际 中 , 当 接 近 对 角 抢 阵 时 即 可 停止 。 
这 样 得 到 的 对 角 和 抑 阵 的 元 素 定 义 了 原来 埃 尔 米 特 矩 阵 A 的 特征 值 。 相 关 的 特征 向 量 是 变换 
序列 所 累积 的 列 向 量 , 即 

Q = Q1Q,Q;... (E.96) 

实现 式 (E.95) 的 对 角 化 策略 的 一 种 方法 是 使 用 Givens 旋转 。 这 个 方法 在 附录 下 中 讨论 。 

三 角形 化 ”第 二 种 策略 的 思想 是 ,通过 一 系列 西 相似 变换 ,将 埃 尔 米 特 和 矩阵 A 变 为 三 角 
形式 。 产 生 的 迭代 过 程 称 为 QL 算法?。 假 设 给 定 一 个 M x M 埃 尔 米 特 矩阵 A, ,其 中 下 标 n 
表示 迭代 过 程 中 的 一 个 具体 阶段 。 设 矩阵 A, 可 以 分 解 为 

A, = Q,L, (E.97) 
其 中 Q, ARER, L, 为 下 三 角 和 矩阵 (即位 于 主 对 角 线 上 面 的 矩阵 L, CRI 0), FEE 
过 程 的 第 n+ 1 2 RMAC ARE Q, AL, 来 计算 一 个 新 的 Mx M 和 矩阵 

Aisi = L,Q, (E.98) 
注意 , 式 (E.98) 中 的 分 解 以 相反 于 式 (E.97) 中 的 顺序 写 出 。 因 为 Q, 是 一 个 本 矩阵, 故 有 
Q; = Q* ,以 致 于 可 将 式 (E.97) 重 写 为 

一 一 1 
En _ OA (E.99) 
因此 ,将 式 (E.99) 代 入 式 (E.98) ,可 得 
Ans = QFA,Q, (E.100) 
ZR (E. 100) F288, n +1 步 迭代 时 埃 尔 米 特 和 矩阵 A,, | 的确 西 相似 于 n 步 时 埃 尔 米 特 和 矩阵 A, © 
因此 ,QL 算法 由 一 系列 西 相似 转换 组 成 ,可 总 结 为 





O QL 算法 使 用 一 个 下 三 角 和 矩阵 。 一 个 称 为 QR 算法 的 算法 使 用 上 三 角 矩 阵 。 不 要 将 QR 算法 与 QR 分 解 混淆 , 它 在 
附录 下 中 讨论 ,而 且 用 于 第 11 章 和 第 12 章 中 。 
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A, = QL, 
All 
Ans = LQ, 
其 中 n=0,1,2,...。 算 法 被 初始 化 为 
Ag =A 


其 中 A HAR Mx M 埃 尔 米 特 矩阵 。 

对 于 一 般 矩 阵 A, 下 面 的 定理 是 QL 算法 ? 的 基础 : 

PEE A 有 不 同 绝对 值 的 特征 值 , 则 当 迁 代 次 数 严 趋向 无 穷 时 佐 阵 A, BUT ZAR. 
原 和 矩阵 A 的 特征 值 以 绝对 值 从 小 到 大 的 顺序 出 现在 由 QL 算法 得 出 的 下 三 角 和 矩阵 主 对 角 线 
上 。 

为 了 实现 式 (E.98) 的 分 解 , 可 以 使 用 Givens 旋转 ( 见 附录 下 ,其 中 讨论 了 一 般 矩 阵 奇异 值 
分 解 的 计算 , 它 包括 特征 分 解 作为 一 种 特例 )。 





@ ”这 个 定理 的 证 明 参 见 Stoer 和 Bulirsch(1980)。QL 算 法 的 改进 版 本 见 Stewart( 1973) .Golub 和 Van Loan( 1996)。 


附录 旋转 和 映射 


在 第 8 章 ,我 们 强调 了 奇异 值 分 解 (SVD singular-value decomposition) 作 为 求解 线性 最 小 二 
乘 问题 工具 的 重要 性 。 在 这 篇 附录 中 ,我 们 讨论 一 个 实际 的 问题 , 即 如 何 计算 一 个 数据 和 矩阵 的 
SVD。 由 于 数值 稳定 性 作为 主要 设计 目标 ,因此 这 里 推荐 的 计算 SVD 的 方法 直接 考虑 数据 和 矩 
阵 。 就 此 ,我 们 给 出 计算 SVD 的 两 种 不 同 算法 。 


e QR 算法 ”通过 一 系列 平面 映射 ( 称 为 Householder 变换 ) 来 实现 。 
© 循环 Jacobi 算法 ”使 用 一 系列 2x2 平 面 旋转 ( 称 为 Jacobi 旋转 和 Givens 旋转 ) 来 实现 。 


循环 Jacobi 算法 和 QR 算法 都 是 数据 自 适 应 或 面向 块 处 理 的 。 尽 管 方法 不 同 ,但 目标 相同 : 

o 一 步 一 步 地 进行 数据 矩阵 的 对 角 化 ,直到 满足 给 定 的 数值 精度 要 求 。 

值得 注意 的 是 ,平面 旋转 和 映射 应 用 广泛 ,特别 是 在 平方 根 卡尔 曼 滤波 器 和 有 关 线 性 自 适 
应 滤波 器 设计 中 起 着 关键 作用 。 因 此 本 书 的 一 些 章节 参考 了 这 里 介绍 的 某 些 基本 概念 。 然 
而 ,这 篇 附录 主要 关注 SVD 计算 (应 用 旋转 和 映射 ) 的 数值 稳定 算法 。 本 附录 首先 考虑 平面 旋 
转 , 而 后 探讨 平面 映射 。 
F.1 平面 旋转 


循环 Jacobi 算法 的 一 个 基本 代数 工具 是 2 x 2 正 交 非 对 称 和 矩阵 
@ = | : ‘| (F.1) 
—s c 


c = cos (F.2) 





其 中 余弦 旋转 参数 


和 正弦 旋转 参数 


s = sin (F.3): 


都 是 实 参数 ,而 且 该 矩阵 受 如 下 三 角 函 数 关系 约 束 
cz 十 S =l (F.4) 

[在 SVD AB GIRRES OT) H, “TE ORE” FF SBE EB, TE” A 
围 。] 我 们 把 变换 @ 看 做 某 一 平面 旋转 ,因为 2x 1 数据 向 量 乘 以 @ 相当 于 该 向 量 的 平面 旋转 。 
这 个 特性 成 立 与 否 取决 于 该 向 量 被 @ 左 乘 还 是 右 乘 。 

将 式 (F.1) 的 变换 称 为 Jacobi 旋转 是 为 了 纪念 Jacobi(1846) , er re 
形式 的 一 种 方法 。 式 4F.1) 称 为 Givens 旋转 ,本 书 中 采用 后 一 种 术语 ,或 简称 ' FIER ois 

为 了 说 明 平面 旋转 的 特性 ,考虑 一 个 2x 1 向 量 的 情况 二 


aR 
A i 


a 


oe 
wee 
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四 
a= 
ak 
x = Oa 
“LS WL] 
7 =S C ay 
加 | ca; + Sa, ] 
7 一 SGi + ca, 
由 旋转 参数 c。 Als 的 定义 容易 看 出 ,向量 x 和 向 量 a 具有 相同 的 欧 氏 长 度 。 此 外 ,已 知 角 9 是 


正 值 ,因此 变换 @ 是 将 向 量 a 按 顺 时 针 方 向 旋转 到 一 个 由 x 定义 的 新 位 置 ,如 图 F.1 所 示 。 注 
意 ,向 量 a 和 向 量 x 在 同一 平面 (i,k) 内 , 故 称 为 “平面 旋转 ”。 


第 个 坐标 


向 量 a 左 乘 以 @, 得 





第 i 个 坐标 





图 F.1 实 2x 1 向量 的 平面 旋转 


F.2 双边 Jacobi 算法 


H T TEI Jacobi 算法 的 推导 铺 平 道路 ,考虑 如 下 实 答 阵 的 简单 情况 


A= | ae | (F.5) 
Aki Akk , 


假设 A 是 非 对称 的 , 即 aukar WREEK REER AE. RF ATF ER @ 和 O, 


来 达到 这 个 目的 , 即 
| sfe “a Jf C2 | _ É A 
Sy C1 Aki Ane ITS C2 0 d, (F.6) 
eo 、 
1 


A 


A O, 对 角 和 矩阵 
为 了 设计 式 (F.6) 所 示 的 两 个 平面 旋转 ,我 们 分 两 个 阶段 进行 :第 一 阶段 将 矩阵 A 变 为 对 称 
阵 ,这 一 阶段 称 为 “对 称 化 ”; 第 二 阶段 将 前 一 阶段 得 到 的 对 称 阵 对 角 化 ,这 一 阶段 称 为 “对 角 
化 "。 当 然 , 如 果 矩 阵 本 来 就 是 对 称 的 , 则 可 直接 进入 第 二 阶段 。 为 方便 计 , 下 面 将 第 一 阶段 和 
第 二 阶段 分 别称 为 “阶段 六 和 “阶段 HY”。 
阶段 T: 对 称 化 ”为 了 将 2x2 矩阵 A 变换 为 对 称 阵 ,可 用 平面 旋转 算 阵 O 的 转 置 来 左 乘 
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矩阵 A, Bp 
c s |T| ay ax Yü Vik 
E ‘| K s | 7 [> 网 (下 .7) 
“oO A Eg 
将 式 (F.7) 左 边 展 开 , 并 使 对 应 项 相等 ,可 得 
Yii = CAy — Saki (F.8) 
Yek = Saik + CA py (F.9) 
Yik = Clik — Sakk (F.10) 
和 
Yki = Say + Cari (F.11) 


阶段 I 的 目的 是 计算 正 汞 -余弦 旋转 对 (ce,*), 使 得 由 平面 旋转 © 得 到 的 矩阵 Y 对 称 。 换 句 话 
说 ,要 求 元 素 yx 和 yi 相等 。 
定义 参数 o 为 ec 与 之 比 , 即 


p= < (F.12) 
通过 令 yx = ya TAGE) p 与 矩阵 元 素 的 关系 。 为 此 ,利用 式 (F.10) 和 式 (F.11) 的 定义 ,可 得 
_ Qü + akk 
T Ga = ly aki F Aix (F.13) 
Pil ,通过 消去 式 (F.4) 和 式 (F.12) 中 的 e 来 确定 s 的 值 ,从 而 有 
sen(p) 
VI F.14) 


因此 ,c As 的 计算 过 程 如 下 : 

© 利用 式 (F.13) 算 出 p。 

o 利用 式 (F.14) 算 出 正弦 参数 so 

© 利用 式 (F.12) 算 出 余弦 参数 co 
如 果 A 原先 就 是 对 称 阵 , 则 ou = a ,在 这 种 情况 下 ;=0,c = 1; 也 就 是 说 ,阶段 I 可 省 去 。 

阶段 王 : 对 角 化 ”这 一 阶段 的 目的 是 将 阶段 1 得 到 的 对 称 阵 YY 对 角 化 。 为 了 达到 这 个 目 
的 ,将 YY 分别 左 乘 以 O ARIO, RE @, 定义 了 又 一 个 平面 旋转 。 该 运算 是 一 个 应 用 于 对 
称 阵 的 正 交 相似 变换 。 于 是 ,可 以 写 出 


| C2 >f» all C2 * | _ 4 J 
T3 C2 Yki Vex JLS cz 0 d (F.15) 
一 一 一 一 一 一/ + — 





©% Y O, D 
其 中 yj = yi ,将 式 (F.15) 左 边 展开 ,并 令 对 角 元 素 分 别 相等 ,可 得 
di = chy — 2c282 Yk: + S3V ex (F.16) 


和 
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dy = s3ys — ZC292Yki + S3Ykk (F.17) 
现 令 ol 和 o 代表 2 x2 矩阵 的 非 对 角 线 上 的 元 素 ,该 矩阵 由 式 (F.1S) 左 边 的 矩阵 乘法 得 到 。 
根据 对 称 考 虑 ,有 


01 = 02 (F.18) 
为 了 对 角 化 ,计算 非 对 角 项 并 令 其 为 零 ,得 到 
0 = (vi — Yeu) — (2) mu + (2) (F.19) 
为 了 便于 计算 式 (F.19) ,引入 如 下 两 个 定义 
t= 2 (F.20) 
和 
_ Vek Yü 
c= Oy (F.21) 
于 是 ,可 将 式 (F.19) 重 写 为 
f+2t—-1=0 (F.22) 


式 (F.22) 是 关于 上 的 二 次 方程 式 , 故 可 能 有 两 个 解 ,由 此 得 到 如 下 两 个 不 同 的 平面 旋转 : 
1) 内 旋 , 在 这 种 情况 下 ,我 们 有 如 下 解 





t= Stent) (F.23) 
Ig) + V1 + 2 
算出 1 后 ,可 用 式 (F.4) 和 式 (F.20) 解 出 c 和 s, ,从 而 得 到 
2 = ê (F.24) 
和 
sy = to (F.25) 
由 式 (F.2)、 式 (F.3) 和 式 (F.20) ,得 到 旋转 角 9, 与 i 之 间 的 关系 为 
6, = arctant (F.26) 


因此 ,采用 式 (F.23) 的 解 ,产生 平面 旋转 @, ,由 此 ,19,1 位 于 区 间 [0,x/4]; 这 种 旋转 被 
称 为 内 旋 。 计 算 过 程 如 下 : 
(a) 由 式 (F.21) 计 算出 Co 
(b) 由 式 (F.23) 计 算出 to 
(co) 由 式 (F.24) 和 式 (F.25) 分 别 计算 出 和 so 
如 果 原 矩阵 A 是 对 角 阵 , 即 a = a, = 0, 则 角 0, = 0, 故 矩阵 保持 不 变 。 
2) 外 旋 , 对 于 这 种 情况 ,我 们 有 如 下 解 
t =—sign(¢)(|¢| + V1 + £) (F.27) 
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算出 ;后 ,可 用 式 (F.24) 和 式 (F.25) 分 别 解 出 ce。 和 s,; 可 以 这 样 做 ,是 因为 这 两 个 式 子 
的 推导 与 二 次 方程 式 (F.22) 无 关 。 然 而 ,在 第 二 种 情况 下 , 式 (F.27) 用 于 式 (F.26) 将 
产生 一 个 平面 旋转 ,其 旋转 角 19,1 位 于 区 间 [x/4,x/2] 内 。 因 此 ,这 个 与 第 二 个 解 有 关 
的 旋转 称 为 外 旋 。 注 意 , 若 矩阵 A 是 对 角 阵 , 即 ag = ay = 0, 则 0, = r/2。 在 这 个 特殊 
情况 下 ,和 矩阵 的 对 角 元 素 只 是 简单 地 互 换 , 如 下 式 所 示 


[EOS aa oJ a (28) 
F2.1 旋转 @ 和 @, 的 融合 


将 式 (F.7) 中 的 矩阵 Y 代 入 式 (F.15) ,并 将 结果 与 式 (F.6) 比较 ,可 以 推出 按照 @( 对 称 化 
阶段 定义 ) 和 ©, (对 角 化 阶段 定义 ) 对 ©, 的 定义 
of = ef oe" 





等 价 于 
©, = 60, (F.29) 
换 句 话说 ,根据 正 余弦 旋转 参数 ,有 


-s5 & -s cll -5s © (F.30) 
、_ ~、 


上 式 展 开 并 令 对 应 项 相等 ,可 得 

Cy = CC, 一 SS (F.31) 
和 

$1 = SC + CS (F.32) 
对 于 实数 据 ,由 式 (F.31) 和 式 (F.32) 可 以 发 现 , 角 0 AO, 分 别 与 平面 旋转 @ HO, AK, fi 0， 
50, AX. 


F2.2 两 类 特殊 情况 


由 于 更 详细 的 算法 在 将 后 面 的 第 F.3 节 中 给 出 , 故 这 里 计算 SVD 的 Jacobi 算法 只 需 考 虑 
两 类 特殊 情况 : 


情况 1: au = ax =0。 这 种 情况 下 ,只 需 将 A 对 称 化 , 即 


ca sa 0 1 Oj_ |d 
=$; Cy Aki 0 0 1 0 0 


情况 2: au =a, =0。 在 这 种 情况 下 ,有 


1 0 Ay Giz co ss | _{[d, 0 
| ils ae ak o] (F.34) 


© 
L 


(F.33) 
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F2.3 复数 数据 的 附加 运算 


式 (F.6) 定 义 的 平面 旋转 只 能 用 于 实数 据 , 首 先 因为 定义 旋转 的 正弦 和 余弦 参数 都 选 为 实 
数 。 为 了 把 旋转 的 应 用 推广 到 更 一 般 的 复数 情况 ,就 要 对 数据 进行 附加 处 理 。 显 然 ,要 使 得 双 
边 Jacobi 算法 适用 于 2x2 复 矩 阵 ,主要 修改 它 的 阶段 I[。 然 而 ,实际 上 解决 复数 问题 (在 Jacobi 
算法 范围 内 ) 并 不 简单 。 这 里 采取 的 方法 是 首先 将 式 (F.5) 的 复 矩 阵 变 为 实数 形式 ,然后 按 通 
常 的 方法 应 用 双边 Jacobi 算法 。 复 矩阵 到 实 和 矩阵 变换 由 下 列 两 个 阶段 完成 ,具体 描述 如 下 : 

阶段 I: 三 角 化 ”考虑 一 个 形式 如 式 (F.5) 的 2x 2 复数 矩阵 A。 不 失 一 般 性 ,假设 第 一 个 
元 素 a; 是 正 实数 。 这 种 假设 是 合理 的 (如 果 需 要 的 话 ), 只 要 分 解 出 指数 项 es ,这 里 0 是 ws 
的 相 角 。 该 分 解 具 有 这 样 的 影响 :使 量 值 等 于 os 的 一 个 正 实数 项 留 在 矩阵 内 ,而 从 矩阵 中 剩 
下 的 三 个 复数 项 的 各 自 相 角 中 减 去 9.。 

为 了 三 角 化 , 令 所 述 和 矩阵 A 左 乘 以 2x2 平 面 旋转 矩阵 , 即 


c 8 Aü Gik | _ | OO Diz 
E e ükk 0 wg (F.35) 


如 前 ,余弦 参数 c 是 实数 ,但 正 弱 参 数 * 是 复数 。 为 了 强调 这 一 点 ,将 * 记 为 


s = |sle* (F.36) 
其 中 ,1s1 是 ; 的 绝对 值 ,a 是 * 的 相 角 。 而 且 , 要 求 (c,s) 对 满足 如 下 约束 
e+ |s? = 1 (F.37) 


我 们 的 目标 是 选择 (c,s) 对 ,使 得 第 ki 项 ( 非 对 角 元 素 ) 消 失 。 为 此 ,必须 满足 如 下 条 件 
一 3541 + cay = 0 
或 等 价 为 


Aki 
sS= c (F.38) 


Qi 
将 式 (F.38) 代 入 式 (F.37) ,并 解 出 余弦 参数 ,得 
la; 

‘ail + jaa + ae (F.39) 
注意 ,在 式 (F.39) 中 ,我 们 选择 正 实 根 作为 余弦 参数 的 值 。 而 且 , 如果 为 零 ( 即 数据 矩阵 一 
开始 就 是 上 三 角 和 矩阵 ), 则 c=1 和 s =0, 此 时 ,我 们 可 以 跳 过 阶段 I。 同样 ,假如 ax 为 零 , 则 可 
进行 转 置 并 进行 阶段 II。 

求 出 2x2 和 矩阵 A 三 角 化 所 需要 的 c As 值 后 , 即 可 确定 式 (F.35) 右 边 上 三 角 和 矩阵 的 各 个 
TER IF 





c= 


Wy = Caii + S*ag (F.40) 
Wik = Chig 十 S* ee (F.41) 
Okk = — Slik + CAakk (F.42) 


由 于 已 知 gj; 是 由 设计 得 到 的 正 实数 ,将 式 (F.38) 和 式 (F.39) 用 于 式 (F.40) 可 显示 出 ,对 角 元 
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素 wi 是 正 实数 , 即 
wo; = 0 (F.43) 
然而 , 式 (F.35) 右 边 上 三 角 和 矩阵 的 其 余 两 个 元 素 wy 和 ww 一 般 均 为 复数 。 


阶段 工 :相位 消除 为 了 将 复数 wj 和 wi 化 为 实数 形式 ,对 式 (F.35) 右 边 的 三 角 和 矩阵 左 乘 
和 右 乘 以 一 对 相位 消除 对 角 阵 , 即 


eP 0 w 0; eP 0 Oy |o; 
| 0 >l 0 al 0 i 7 E xl | (F.44) 
左 乘 矩 阵 的 旋转 角 8 和 7 的 选取 要 能 够 分 别 消除 wj 和 ww 的 相 角 ,因此 选 为 
B = arg(w) (F.45) 
和 
y = arg(wxx) (F.46) 
包括 右 乘 矩阵 是 为 了 修正 由 左 乘 矩 阵 所 产生 的 元 素 w; 的 相位 变化 。 换 句 话 说 , 式 (F.44) 中 的 
左 乘 和 右 乘 的 联合 过 程 不 会 引起 对 角 元 素 ws 的 变化 。 
因此 ,阶段 I 获得 一 个 上 三 角 和 矩阵 ,其 三 个 非 零 元 素 都 是 实数 且 非 负 。 将 2x2 复 矩阵 A 
转化 为 上 三 角 实 矩阵 的 过 程 中 要 求 四 个 自由 度 , 即 (c,s) 对 及 角度 6 和 7y。 现 在 已 经 为 我 们 将 
Jacobi 算法 应 用 于 2 x 2 实 和 矩阵 铺 平 了 道路 ,正如 本 节 前 面 所 述 。 
F2.4 Givens 旋转 的 性 质 


我 们 通过 总 结 Givens (平面 ) 旋 转 


的 性 质 来 结束 本 节 的 讨论 。 
TER 1 余弦 参数 c 总 是 实数 ,但 正弦 参数 s 在 处 理 复数 据 时 是 复数 。 
性 质 2 参数 。 Ms 总 是 受到 如 下 三 角 关 系 的 约束 
c? + |s? =1 


TERR 3 Givens 旋转 是 非 埃 尔 米 特 的 , 即 


6” +0 
其 中 上 标 五 表示 埃 尔 米 特 转 置 。 
性 质 4 Givens 旋转 矩阵 是 西 矩 阵 , 即 
o- = o” 
性 质 5 Givens 旋转 能 保持 长 度 不 变 , 即 
|Ox|| = |xl 
其 中 x 是 任意 的 2x2 向量。 


F.3 循环 Jacobi 算法 


现在 准备 讲述 循环 Jacobi 算法 或 广义 Jacobi 算法 ;在 数据 方 阵 情况 下 ,这 一 算法 可 通过 求 
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解 一 系列 合适 的 奇异 值 分 解 问题 来 实现 。 我 们 将 针对 实数 据 进行 介绍 。 为 了 处 理 复 数据 ,可 
引用 前 一 节 后 面部 分 导出 的 复数 据 到 实数 据 的 转换 。 

令 @,(i,) 表 示 (i,) 平 面 的 平面 旋转 ,其 路 >i。 除了 ik 行 和 i、k 列 的 四 个 关键 元 
RINER O (i,k) M x M 单位 阵 相同 ,如 下 所 示 


1 0 0 0 
0 Cy $1 0 — Ti 
@,(i,k) = OEO o 
0 =s oc Gt 0] FR (F.47) 
0 0 0 1 
T t 
列 i 列 k 


令 @,(i,) 表 示 (i,k) 平 面 的 另 一 平面 旋转 ,其 定义 与 上 面 的 类 似 。 第 二 个 变换 的 维 数 也 是 
M。 于 是 ,数据 矩阵 A 的 Jacobi 变换 可 描述 如 下 
Ty: A — Of(i,k)AQ,(i, k) (F.48) 
Jacobi 旋转 @ (i,k) 和 ©, (i, kL FARRAR A 的 (有 及 (元 素 。 相 应 地 , 变 
换 Ta 产生 一 个 比 原来 的 A 更 对 角 化 的 抢 阵 X( 等 于 A 的 更 新 值 ) ,在 这 个 意义 上 


off(X) = off(A) 一 a%, 一 a, (F.49) 
其 中 of(A) 是 非 对 角 线 元 素 的 范 数 
M M 
off(A) = > > tii xt A = {ax} (F.50) 
k#1 


在 循环 Jacobi 算法 中 , 式 (F.48) 的 变换 应 用 于 m = M(M -1)/2 个 不 同 下 标 对 [“ 主 元 (piv- 
ots)”] 的 情况 ,这 些 点 以 某 种 固定 的 顺序 选 出 。 这 样 一 系列 m 变换 称 为 扫描 。 扫 描 可 以 是 逐 
行 循环 或 逐 列 循环 ,其 简短 说 明 如 例 1 所 示 。 在 任 一 情况 下 ,扫描 后 得 到 一 个 新 的 矩阵 A, 由 
此 算出 of(A)。 一 方面 ,如 果 of(A) sel 是 一 个 与 机 器 有 关 的 很 小 的 数 ) , 则 停止 计算 ; 另 一 
方面 ,如 果 off(A) > 9 , 则 继续 计算 。 对 于 8 的 典型 值 [如 8 = 10°" off(A,), FEP A, 是 初始 抢 
阵 ] 和 范围 为 4~ 2000 的 玉 值 ,算法 经 过 大 约 4 次 ~ 10 次 扫描 后 收敛 。 

由 此 可 知 , 行 和 列 的 排列 是 为 了 保证 Jacobi 循环 算法 收敛 的 惟一 排列 @。“ 收 敛 " 意 指 

of f(A”) — 0 Ek —> oo (F.51) 
其 中 A’ E k UHH AH M x M 和 矩阵。 
ği 1 l 
考虑 一 个 4x4 REE A EER M=-4, 6 kiat t AARAA — PATHE 
列 的 扫描 如 下 





@ ”基于 行 或 列 排序 的 Jacobi 循环 算法 的 收敛 性 证 明 , 由 Forsythe 和 Henrici(1960) 给 出 。 随 后 ,Luk 和 Park(1989) 证 明了 
用 在 算法 并 行 实现 中 的 各 种 排序 等 效 于 按 行 排序 ,因此 同样 保证 了 收 敏 性 。 
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Tr = T34To4T23T 471 3T12 
一 种 按 列 排列 的 扫描 如 下 
Te = JT34J24T14T23T3Ti2 
容易 看 出 ,如 果 满 足以 下 两 个 条 件 
1) FAR i fop. g 都 不 相同 。 
2) FAR k Fp q 都 不 相同 。 
则 变换 Ti 和 T, ZR, AWATA, LRT, 和 Te 实际 上 是 等 价 的 ,如 所 预期 的 。 
下 面 , 考 虑 将 变换 Ta (由 按 行 轮换 排序 扫描 得 到 的 ) 用 于 数据 矩阵 A。 特 别 地 ,利用 式 
(F.48) 的 旋转 ,可 以 写 出 如 下 变换 
Ti: 人 — of (1, 2)AQ,(1, 2) 
T,3T,2:A <— ef (1, 3071, 2)AO,(1, 2)@,(1, 3) 
TTT: A <— ©7(1, 4)07(1, 3)07(1, 2)AG,(1, 2)@,(1, 3)@,(1, 4) 
等 等 。 这 一 系列 变换 的 最 后 一 步 可 以 写 为 
Te:A<UTAV 
它 定义 了 实数 据 和 矩阵 A 的 奇异 值 分 解 。 正 交 和 矩阵 和 站 分 别 定义 
U = @i1i(1,2)93(1, 3)95(1 4)@,(2, 3)@,(2, 4)@,;(3, 4) 


和 
V = 92(12)84(1 3)O6(1, 4)9s(2,3)9io(2, 4)O12(3, 4) 


F3.1 EEKEJI 


至 此 ,我 们 专注 于 计算 方 阵 奇 异 值 分 解 的 Jacobi 循环 算法 。 为 了 处 理 和 矩形 矩阵 这 个 更 一 
般 的 情况 ,可 以 通过 以 下 步 又 扩展 这 个 算法 的 应 用 :首先 考虑 x M SOBER A 的 情况 ,此 
时 天 > MM。 通过 在 A PRH K- ji 列 零 元 素 , 可 得 到 一 个 方 阵 。 故 可 写 出 
A = [A, 0] (F.52) 
和 矩阵 A 称 为 增 广 数据 矩阵 。 然 后 , 像 以 前 那样 继续 进行 ,将 循环 Jacobi 算法 用 于 K x 天 矩阵 
A。 在 进行 这 项 计算 时 ,要 求 利用 式 (F.33) 所 述 的 特殊 情况 1。 在 任何 时 候 , 都 有 如 下 分 解 
ujao ¥ ?| = diag(a1,..., om, 0,...,0) (F.53) 
O I 
从 而 ,可 得 到 原 数据 矩阵 A 所 期 望 的 分 解 为 
UTAV = diag(o1,..., om) (F.54) 


如 果 和 矩阵 A 的 维 数 M > 玉 , 则 可 在 矩阵 中 添加 M -下 行 来 增 广 该 矩阵 ;于 是 可 写 出 


~ A 
A= | a (F.55) 
然后 用 类 似 于 前 面 的 方法 处 理 方 阵 A。 在 第 二 种 情况 下 ,要 求 利 用 式 (F.34) 所 述 的 特殊 情况 2。 
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在 复数 矩形 数据 矩阵 A 的 情况 下 ,除了 和 矩阵 U 和 VV 的 特征 有 所 变化 外 ,其 余 均 可 按 前 面 
描述 的 方法 进行 。 对 于 实 和 矩阵 , EE U Al V 都 是 正 交 的 ,然而 对 于 复 矩 阵 ,两 者 都 是 丁 阵 。 

这 里 描述 的 矩阵 增 广 的 策略 ,表示 了 方 阵 用 Jacobi 算法 的 一 种 简单 扩展 。 然 而 ,这 种 方法 
的 缺点 是 , 当 和 矩阵 A 的 维 数 K 远大 于 维 数 1 时 ,算法 效率 过 低 , 反 之 亦 然 。 


F.4 Householder 变 


下 面 ,转向 讨论 Householder 变换 (或 称 Householder 矩阵 ) ,这 是 为 了 纪念 其 创始 人 (House- 
holder,19S8a,b,1964) 而 得 名 的 。 为 了 简化 讨论 ,考虑 一 个 M x 1 向 量 ,其 欧 氏 范 数 为 


Jul = (era 
SRG , Householder 变换 用 M x M 和 矩阵 定义 为 


2uu7 
lul? 





Q=I (F.56) 


其 中 I 是 Mx MAME, 
为 了 给 出 Householder 变换 的 几何 解释 ,考虑 一 个 M x 1 向 量 x 被 左 乘 以 矩阵 Q 的 情况 


T 
Ox = (1 2uu )s 





jul? 
outs (F.57) 
x ue 
利用 定义 ,x 在 u 上 的 投影 为 
ux 
P,(x) = jue” (F.58) 


这 个 投影 如 图 F.2 所 示 。 图 中 还 包括 了 乘积 Ox 的 向 量 表示 。 由 此 可 见 , 向 量 Qx 是 x 关 于 超 
平面 spaniui+ 的 镜像 映射 , 它 与 向 量 m 正 交 。 
正 是 由 于 这 个 原因 , Householder 变换 也 称 为 Householder 映射 2@。 式 (F.56) 定 义 的 实数 据 
Householder 变换 ,有 如 下 性 质 ， 
性 质 1 Householder 交换 是 对 称 的 , 即 
=Q (F.59) 
性 质 2 Householder 变换 是 正 交 的 , 即 





@ 克服 这 个 困难 的 一 个 可 供 选 择 的 方法 如 下 (Lak,1986) : 
1) 通过 OR 分解 ,将 Kx M 数据 矩阵 A 三 角 化 ,定义 如 下 


azolo] 


HF QUE Kx KEXE,RE Mx MEZHER. 
2) 用 循环 Jacobi 算法 将 矩阵 R 对 角 化 。 
3) 结合 第 一 步 和 第 二 步 的 结果 。 
@ ”对 于 Householder 变换 的 综述 性 回顾 及 其 在 自 适应 信号 处 理 中 的 应 用 ,参见 Steinhardt(1988)。 
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Q“ = Q7 (F.60) 
性 质 3 Householder 变换 是 长 度 受 保护 的 , 即 
|Qx|| = |x| (F.61) 


AARRE E F2 HAET N, E x 和 它 的 映射 Ox 长 度 完全 相等 。 
性 质 4 两 个 向 量 进行 相同 的 Householder 变换 ,其 内 积 不 变 。 


P(x) 


Span {nu} 











F.2 Householder 变换 的 几何 解释 


考虑 任意 的 三 个 向 量 x.y 和 u。 令 Householder 变换 矩阵 Q 按照 式 (F.56) 的 向 量 u 来 定 
义 。 再 令 剩余 的 两 个 向 量 x y 由 Q 进行 变换 ,分 别 得 到 Ox 和 Qy。 这 两 个 变换 向 量 的 内 积 
为 

(Qx)"(Qy) = x7Q"Qy 
= x'y 

这 里 用 到 了 性 质 2。 这 里 ,变换 向 量 Qx 和 Qy 与 原来 的 向 量 x 和 y 有 相同 的 内 积 。 

性 质 4 在 数值 求解 最 小 线性 二 乘 问题 中 具有 重要 的 实际 意义 。 特 别 地 ,Householder 变换 
用 来 将 给 定 的 数据 矩阵 化 为 稀 榴 矩阵 ( 即 大 多 数 元 素 为 零 )。 从 某 种 数学 意义 上 ,这 个 稀 朴 抵 
阵 与 原来 的 数据 矩阵 “等 价 "。 不 必 说 ,该 称 下 矩阵 的 特殊 形式 取决 于 感 兴趣 的 应 用 。 然 而 ,无 
论 何 种 应 用 ,这 里 所 述 的 矩阵 转换 形式 用 来 简化 求解 问题 中 所 涉及 的 数值 计算 。 在 这 个 范围 
内 ,数据 转换 的 一 种 特殊 形式 是 三 角 化 ,就 是 将 全 矩阵 化 为 上 三 角 阵 。 给 定 这 种 形式 的 数据 转 
换 ,我 们 可 简单 地 利用 Gaussian 消 元 法 完成 矩阵 求 逆 , 从 而 求 出 这 个 问题 的 最 小 二 乘 解 。 


性 质 5 给 定 Householder TH Q, FRAT Qx 是 超 平面 上 的 一 个 映像 ,此 超 平面 与 Q 
定义 中 所 涉及 的 向 量 品 正 交 。 . 

这 个 性 质 只 是 式 (F.57) 的 另 一 种 表述 。 性 质 5 的 如 下 两 种 极限 情况 特别 值得 注意 : 

9 问 量 x 是 u 的 标量 倍数 。 在 这 种 情况 下 , 式 (F.S7) 简 化 为 


(F.62) 


Qx = -x 
o 向 量 x 与 u 正 交 。 即 x 和 器 的 内 积 为 零 。 在 这 种 情况 下 , 式 (F.57) 简 化 为 
Qx =x 


性 质 6 令 x 是 任 一 非 零 有 x1 向量 ,其 欧 氏 范 数 为 上 | 。 令 1 表示 第 一 象限 的 Mx1 
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向 量 
1 = [1,0,...,0] (F.63) 
则 存在 一 个 由 如 下 向 量 
u=x— |xl1 (F.64) 
定义 的 Householder FH Q, 使 得 相应 于 器 的 变换 向 量 QX 是 向 量 1 的 线性 倍数 。 
当 赋 予 向 量 u 式 (F.64) 中 的 值 时 ,我 们 有 


jul? = wn 


= (x — Ixl1)’ (x — |x) 


= 2fx{? -xl P69) 
= ?lxl(lxl — x) 
其 中 ay 是 向 量 x 的 第 一 个 元 素 。 同 样 地 ,我 们 可 以 写 出 
ux= (x — |[x{1)"x 
= If? - lx (F.66) 


= |x|(lxl — x1) 
因此 ,将 式 (F.65) 和 式 (F.66) 代 入 式 (F.57) 可 以 发 现 , 对 应 于 式 (F.64) 向 量 u 定 义 的 变换 向 量 


Qx 为 
Qx=x—u 
=x — (x — |xll) (F.67) 
= ||x|1 
这 就 证 明了 性 质 6. 
从 式 (F.65) 可 以 看 出 ,x 的 欧 氏 范 数 必须 满足 以 下 条 件 
xl > |x| (F.68) 


这 个 条 件 仅 仅 说 明 , 不 仅 x 的 第 一 个 元 素 , 而 且 至 少 一 个 其 他 元 素 也 必须 非 零 。 这 样 , 式 
(F.64) 定 义 的 向 量 u 才 真正 有 效 。 

性 质 6 使 得 Householder 变换 成 为 一 个 非常 强 有 力 的 计算 工具 。 给 定 一 个 向 量 x, 可 以 用 
式 (F.64) 来 定义 ,使 得 相应 的 Householder 变换 Q 可 消除 向 量 x 中 除 第 一 个 元 素 外 的 所 有 
MM - 1 个 元 素 。 这 个 结果 等 价 于 应 用 M - 1 次 平面 旋转 ,一 个 微小 的 不 同 是 : 式 (F.56) 中 定义 
的 Householder 和 矩阵 Q 的 行列 式 为 





a) 
lul? 


det(Q) = det (I (F.69) 


=-1 
FAH , Householder 变换 使 该 结构 的 方向 反 向 。 
注意 ,性 质 1 性质 5 和 性 质 6 显示 出 Householder 变换 与 Givens 旋转 的 区 别 。 这 两 个 西 变 
换 的 基本 区 别 通 过 比较 图 F.1 和 图 F.2 来 说 明 。 
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F.5 QR 算法 


研究 计算 SVD 的 QR 算法 的 出 发 点 是 找到 一 类 能 够 保护 数据 矩阵 A 奇异 值 的 正 交 和 矩 阵 。 
就 此 ,假设 实数 据 的 情况 ,如 果 


B = PAQ (F.70) 
则 说 矩阵 A 与 另 一 个 矩阵 也 正 交 等 价 , 式 中 了 和 Q 是 正 交 和 矩阵 , 即 
P7P =I 
和 
QQ =I 
因此 


B7B = Q7AIPIPAQ 
= Q7A7AQ 

若 相 关 和 矩阵 AA AFL HS Q ,同时 左 乘 以 矩阵 Q 的 转 置 , 则 ATA 的 特征 值 不 变 。 因 
I, FASEB ATA 和 BB, 或 简单 地 说 ,和 矩阵 A RERE B 是 特征 等 价 的 。 

利用 式 (F.70) 所 定义 变换 的 目的 是 ,将 数据 矩阵 A 化 为 上 双 对 角形 式 , 并 具有 上 面 提 到 
的 特征 值 等 价 性 ,对 此 Householder 变换 是 很 合适 的 。 如 果 , 除 了 主 对 角 和 上 对 角 元 素 外 ,其 他 
所 有 元 素 均 为 零 , 则 说 转换 数据 矩阵 B 为 上 双 对 角 阵 , 即 B 的 第 个 元 素 为 

bj = 0 . e4i>yRpoiti (F.72) 

由 于 矩阵 A 化 为 上 双 对 角形 式 , 故 下 一 步 就 是 运用 Householder 双 对 角 化 ,如 下 所 述 。 
F5.1 Householder 双 对 角 化 


考虑 一 个 Kx M 数据 矩阵 A, 其 中 KaM. 令 Qi,Q,,...， Qu 表示 一 组 Kx K Householder 
和 矩阵 , 令 卫 ,也 ,...,Py_; 表 示 另 一 组 M x M Householder ERE, ATHERE A 化 为 上 双 对 角形 
式 , 首 先 确定 Householder 矩阵 的 乘积 


(F.71) 


_ QQ Qu- K=M 
Qe (ooo. K>M (F.73) 
和 
P; = P,P,... Py_2 (F.74) 
使 得 
d h o 
d, 
QŻAP;, = B = ~. fu (F.75) 
d 
— O | XK- M)xM 28% 


对 于 天 > M 的 情况 ,矩阵 A ÆI Householder 矩阵 Q,,Q,,...,Q,, TR FARRER A 的 每 
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一 列 , 而 右 乘 以 矩阵 P,P, ,...， Px-_: 对 应 于 映射 变换 A 的 每 一 行 。 通 过 列 和 行 “ 乒 乓 ”映射 获 


得 期 望 的 上 双 对 角形 式 。 注 意 到 ,当天 > M 时 ,组 成 的 Qs 的 Householder 矩阵 数目 为 M, 而 组 
成 Ps 的 矩阵 数目 为 M -2。 也 注意 到 ,通过 设计 ,和 矩阵 蔷 积 P,P, ...Pw :并 不 改变 它 所 右 乘 的 
任何 矩阵 的 第 一 列 。 


例 2 


我 们 通过 一 个 例子 来 说 明 这 个 转换 的 思想 。 


考虑 一 个 5x4 给 阵 A, 该 矩阵 以 展开 形式 写 为 


> 
{| 

网 oo mw a: 

Co OO 

Co o mw ~ 

Ca x MOM 


X X 


R PATEEPHERER. EE A HEATET: 
首先 ,选择 Q 使 得 QTA 在 如 下 所 标 位 置 处 变 为 堆 


X XXX 
® x x x 
® x x x 
@ x x x 
® x x x 
于 是 
x x ® ® 
0 x x x 
QfA=|0 x x x (F.76) 
0 x x x 
0 x x x 


其 次 ,选择 P| 使 得 QI AP, 在 QIA 的 第 一 行 如 式 ( 了 .76) 所 示 的 有 区 别 位 置 处 变 为 零 。 从 
而 


pp 


1X X X 
X xX X (F.77) 
ix X X 
X X X 


注意 »P, 没有 影响 到 QA 的 第 一 列 。 
通过 对 具有 非 零 元 素 QAP, 的 尾部 的 4x3 子 给 阵 进行 操作 ,可 继续 数据 转换 。 特 
别 地 ,选择 Q, Fo P, 使 得 


----------L---------- 


Qi QT AP, P, = (F.78) 


附录 下 旋转 和 映射 675 


Fe ,我 们 对 具有 非 零 元 素 的 QQ AP P, 尾部 的 3x2 子 矩阵 进行 操作 。 特 别 地 ,我 们 选 
择 Q 使 得 


QIQIQTAP P, = (F.79) 
0 0 Oix 
0 0 0jx 
最 后 ,选择 Q RZ QQQ AP, P, 中 部 的 2x1 子 敌阵 进行 操作 ,我 们 可 写 出 
x x 0 0 
0O x x 0 
B= Q7Q3Q7Q7AP,P,=|0 0 x x (F.80) 
0 0 0 x 
0 0 0 0 


至 此 ,完成 了 数据 矩阵 A 的 上 双 对 角 化 。 
F5.2 Golub-Kahan 步骤 


数据 矩阵 A 双 对 角 化 后 , 紧 接着 是 将 矩阵 进一步 化 为 对 角形 式 的 迭代 过 程 。 由 式 (F.75) 
可 以 看 出 ,在 由 A 双 对 角 化 得 到 的 矩阵 B 中 ,履行 以 下 全 为 零 。 显 然 ,矩阵 B 中 后 天 - MIE 
元 素 对 于 求 原 数 据 和 矩阵 A 的 奇异 值 不 起 作用 ,因此 可 以 去 掉 了 的 后 天- M 行 元 素 ,从 而 把 它 
看 做 一 个 M ÆDE, FM B 对 角 化 的 基础 是 Golub-Kahan 算法 (Golub & Kahan,1965) , 它 是 最 
初 用 来 求解 对 称 特征 值 问题 的 QR 算法 的 一 种 自 适应 实现 中 。 
SBER Mx M 上 双 对 角 和 矩阵 , 它 的 主 对 角 线 和 上 对 角 线 上 没有 零 元 素 。Golub-Kahan 
算法 的 第 一 步 迭 代 过 程 如 下 (Colub & Kahan, 1965; Golub & Van Loan, 1996) : 
1) MERE T = BB 尾部 的 2x2 子 矩阵 ,其 形式 为 
Wn + fu-ı dum-ifu | 
fudm-1 dy + fi 
其 中 dy Fl dy 是 矩阵 B 尾部 的 对 角 线 元 素 ,fy_1 和 fy 是 尾部 的 上 对 角 线 元 素 [ 参 见 
式 (F.75) 的 右边 ]。 令 4 表示 子 和 矩阵 的 特征 值 , 它 与 du + f8 很 接近 ;这 个 特殊 的 特征 
值 à 称 为 Wilkinson 漂移 。 . 
2) 计算 Givens 旋转 参数 c, 和 ;, ,使 得 


a s| at -A | | 
| s | | fod, |- 时 (F.82) 
其 中 d Alf, 分 别 表示 矩阵 B 的 主 对 角 线 元 素 和 上 对 角 线 元 素 [ 参 见 式 (F.75) 的 右 
边 ]。 式 (F.82) 中 标 有 不 号 的 元 素 表 示 非 零 元素 。 邻 


C Sy 
ef =| -sy oo (F.83) 
O I 


O ”QR 算法 的 外 在 形式 和 附录 玉 讨 论 的 QL 算法 有 所 不 同 。 


(F.81) 
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3) 将 Givens 旋转 ©, 应 用 于 矩阵 B。 因 为 B 为 上 双 对 角 和 矩阵 ,而 @, 是 在 (2,1) 平 面 中 的 
旋转 矩阵 ,乘积 BO, 有 如 下 形式 (以 M =4 的 情况 为 例 来 说 明 ) 
0 


X 
a) 


N 


BO, = 


oo x ~ 
Oxa SO 
x eM OO 


0 
0 
其 中 zx 是 经 Givens 旋转 后 产生 的 新 元 素 。 
4) 确定 以 “乒乓 "方式 对 BO, 进行 操作 的 Givens 旋转 序列 U ,Va,U ,Vi 和 Unw-i， 
以 便 在 双 对 角 线 的 情况 下 寻找 不 想 要 的 非 零 元 素 z。 这 一 系列 运算 再 一 次 以 M=4 


的 情况 为 例 说 明 如 下 
x x z2 0 
Ox x 0 
TR = 
Ui BO, 00 x x 
0 0 0 x 
x x 0 0 
0 x x 0 
UT B®, V = 0 2 x x 
0 0 Ox 
x x 0 0 
Ox x z 
T 
Ul UT BO, V, = 00x x 
000 x 
x x 0 0 
uluTBe,v,v;-|2 * * ° 
00 x x 
00 26 x 
x x 0 0 
0 x x 0 
TETIT _ 
U; U; Ui BG, V, V; 00x x 
000 x 
因此 , GEAR IL FT Ot a B, 它 与 原 对 角 阵 B 的 关系 如 下 
B < (U4,_,... UZ UT)B(O; Vy... Vu-1) = UBV (F.84) 
其 中 
U = U, U2... Uy- (F.85) 
和 
V = O, V... Vm- (F.86) 


步 又 1 BAER 4 4h T Golub-Kahan 算法 的 一 次 迭代 。 典 型 地 ,经 少数 迭代 后 ,上 对 角 线 元 素 
fu 将 变 得 可 以 忽略 不 计 。 当 fu 充分 小 时 ,可 以 缩小 矩阵 ,而 将 算法 应 用 于 较 小 的 矩阵 。f 足 
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够 小 的 标准 通常 采取 如 下 形式 
fal <e(ldy—il + Ildm|) 其 中 se 是 机 器 精度 的 小 倍数 (F.87) 
刚刚 进行 的 论述 极 少 说 到 用 于 方 阵 对 角 化 的 Golub-Kahan 算法 。 对 于 该 算法 的 更 详细 的 
论述 ,读者 可 以 参考 Golub 和 Kahan(1965) 的 论文 以 及 Golub 和 Van Loan(1996) 的 书 。 
Golub-Kahan 算法 已 有 重要 改进 。Golub-Kahan 算法 具有 性 质 : 它 可 计算 具有 绝对 误差 上 界 
ell B | 的 双 对 角 阵 B 的 每 一 个 奇异 值 ,其 中 ce 是 机 器 精度 。 因 此 ,可 以 在 相当 高 的 精度 下 计 
算出 大 的 奇异 值 (接近 || B | ) ,而 小 奇异 值 (接近 ell B | 或 更 小 ) 的 计算 不 够 精确 。 改 进 型 算 
法 可 在 相当 高 精度 下 计算 出 每 一 个 奇异 值 ,而 与 算法 规模 无 关 。 它 也 可 用 高 得 多 的 精度 计算 
奇异 向 量 。 速 度 与 老 算法 差不多 一 样 快 (偶尔 要 快 得 多 ) 的 新 算法 是 Golub-Kahan 算法 与 简化 
型 算法 [对 应 式 (F.82) 中 取 =0] 的 结合 。 当 4 =0 时 ,可 固定 算法 的 剩余 部 分 ,以 便 以 相当 高 
的 精度 计算 每 个 矩阵 元 素 , 并 由 此 得 到 奇异 值 的 最 终 精 度 [对 这 个 算法 的 分 析 , 参 见 Demmel 和 
Kahan(1990) 及 Deift 等 (1989) ]。 


F5.3 QR 算法 小 结 
QR 算法 不 仅 数学 上 灵巧 ,而 且 计 算 能 力 很 强 ,是 SVD 计算 中 高 度 通用 的 算法 。 给 
K x 1 数据 矩阵 A, 用 于 计算 A 的 SVD 的 QR 算法 过 程 如 下 : 


1) 计算 一 系列 Householder 变换 ,将 A 化 为 上 双 对 角形 式 。 

2) 将 Golub-Kahan 算法 用 于 步骤 1 得 到 的 M x M 非 零 子 矩阵 。 重 复 这 个 应 用 ,直到 按照 
式 (F.87) 定 义 的 准则 上 对 角 线 元 素 变 得 可 以 忽略 为 止 。 

3) 确定 A 的 SVD 过 程 如 下 : 


o 步骤 2 得 到 的 矩阵 的 对 角 线 元 素 , 是 矩阵 A 的 奇异 值 。 
© 步骤 1 的 Householder 变换 与 左 乘 所 涉及 的 步骤 2 的 Givens 旋转 的 乘积 定义 了 矩阵 A 
的 左 奇 异 向 量 。Householder 变换 与 右 乘 所 涉及 的 Givens 旋转 的 乘积 定义 了 矩阵 A 


的 右 奇异 向 量 。 
110 
B=/0 2 1 
00 3 


XP 2b 4E E AA Golub-Kahan 算法 ,得 到 表 下 .1 中 所 示 的 一 系列 结果 [ 当 式 (F.87) 定 义 
的 终止 准则 中 = =10“ 时 ]。 经 过 两 次 迭代 后 ,矩阵 B 的 (2,3) 元 素 变 得 很 小 ,此 时 短 阵 缩 
Do Ab, MAL RSESH 2x2 FRE 
es or | 
0.0000 2.0791 
Bit —P iS FPERAR AIA 


0.8596 0.0000 
0.0000 2.1326 


Gil 3 
考虑 一 个 3x3 实 双 对 角 阵 
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算出 双 对 角 阵 的 奇异 值 为 
ol = 0.8596 
oy = 2.1326 
和 
03 = 3.2731 


3 
iit OR SE RAR BB" 的 迹 及 其 特征 值 之 和 , 即 >, oi, 可 以 证 明 这 个 计算 的 正确 性 。 
i=l 
这 个 问题 留 给 读者 作为 练习 。 
表 了 .1 Golub-Kahan 算法 的 开始 两 次 迭代 


选 代数 ERE B 
0 1.0000 1.0000 0.0000 
0.0000 2.0000 1.0000 
0.0000 0.0000 3.0000 
1 0.9155 0.6627 0.0000 
0.0000 2.0024 0.0021 
0.0000 0.0000 3.2731 
2 0.8817 0.4323 0.0000 
0.0000 2.0791 0.0000 


0.0000 0.0000 3.2731 


附录 G 复数 Wishart 分 布 


Wishart 分 布 在 统计 信号 处 理 中 起 着 重要 作用 。 在 这 篇 附录 中 ,我 们 概述 了 复 值 数据 分 布 
的 一 些 重要 特性 。 特 别 地 ,我 们 导出 标准 RLS 算法 收敛 性 分 析 ( 见 第 9 章 习题 7) 的 一 个 关键 
性 结果 。 首 先 讨 论 复数 Wishart 分 布 的 定义 。 


G.1 定义 


考虑 一 个 Mx M 时 间 平 均 (样本 ) 相 关 算 阵 


n 


Oln) = > uni)u (i) (G.1) 
其 中 
u(i)[u,(i),u,(i),..., uy (i)? 

下 面 ,假设 u(1),u(2),...,u(n) (n> M) 是 独立 同 分 布 的 (ii.d.)。 则 复数 Wishart 分 布 可 正 
式 定义 如 下 (Muirhead, 1982) : 

WGK {u,(i),u.(i),...,uy(i)li=1,2,...,n},n2M EM KRAMDPARN (0,R)H—4* 

A O(n) RA(G.1) ZX BS Ie FH KEE, O(n) 4 ARAA ZR Wishart 分 布 

Wy(nR), © BRK Mv n F RHE. 

用 特定 的 术语 ,我 们 可 以 说 ,如 果 和 矩阵 © 是 Ww(n,RR) 分 布 的 , 则 © 的 概率 密度 函数 为 


KD) = 1 etr( - 工 R-I@] (det(@)) "y2 (G.2) 
amr, (5 n) (det(R))™ (- 220) 

其 中 det 表示 和 矩阵 的 行列 式 ,etr HANA KMS. Tyla RRA ESM BM, EM 

为 











Tyla) = f arc- A)(det(A)) 2gA (G.3) 
其 中 A 是 正定 矩阵 。 
G.2 一 种 特殊 情况 x? 分 布 
对 于 单 变 量 布 理 ( 即 M = 1) 的 特殊 情况 , 式 (G.1) 变 为 标量 形式 
g(n) = 5 luli) I? (G.4) 
相应 地 ,ua(n) 的 相关 和 矩阵 及 变 为 方差 o2。 令 
y(n) = a(n) (G.5) 


2 
o 
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则 利用 式 (G.2) ,可 将 归 一 化 随机 变量 x*(n) 的 归 一 化 概率 密度 函数 定义 为 
(x) ore 
-一 一 一 一 一 (G.6) 
ald 1 
ar >n) 

HF (1/2n) FE (He) FS RO, Ey? (n) ER HEED n 的 Xx? 分 布 (chi-square distribu- 
tion)。 因 此 ,复数 Wishart 分 布 可 看 做 无 变量 x? 分 布 的 推广 。 

自由 度 为 n 的 x? 分 布 的 一 个 有 用 性 质 是 : 它 相 对 于 1/2n 重复 产生 (Wilds, 1962)。 即 
xX (n) 的 第 r TEA 

an(§ +) 


f(x ) = 








+ 
EL (n)] = — F (G.7) 
| (4) 
因此 , x(n) 的 均值 均 方 值 和 方差 分 别 如 下 

Ely (n)] =n (G.8) 
Elx (n)] = n(n +2) (G.9) 
varl y’(n)] = n(n +2)- n =2n (G.10) 

此 外 ,将 r= -1 代 人 式 (G.7) ,可 求 出 x*(n) 倒 数 的 均值 为 

1 1S -3) 1 r( 1) 1 

Trost 2 ay 2 gaye? OY 


G.3 复 Wishart 分 布 的 性 质 


复数 Wishart 分 布 具有 如 下 重要 性 质 (Muimhead,1982; Anderson, 1984) : 

1) 若 @@ 是 Wh(n,R) 分 布 ,而 a 是 与 号 无 关上 日 具有 概率 分 布 为 P(a=0) =0( 即 a=0 的 概率 
是 零 ) 的 任 一 M x 1 随机 列 向 量 , 则 a” Da/a" Ra 是 自由 度 为 n 的 x? 分 布 且 独 立 于 ao 

2) & O BW y(n, R), T Q Æ Mx 上 矩阵 , 则 QQ 是 Wi(n,Q*RQ) 分 布 。 

3) 着 鲁 是 Wn(n,R) 分 布 ,而 Q@ 是 M x k BARD k, MCO D Q EW, (n- M+ k, 
(QRQ) DRR. 





D 对 于 其 实 部 为 正 的 复数 g A, FS Rg) T EXA F EH XK ( Wilks, 1962) 
Tg) = | be *dx 
o=] 


积分 结果 ,容易 得 出 
Mg) = (g - DT(g -1) 
对 于 g 是 正常 数 的 情况 ,可 把 伯 玛 函 数 表示 为 阶乘 形式 
T(g)=(g-1)! 
当 g >0 但 不 为 整数 时 ,有 
Mg) = (g - 1)T(6) 
其 中 0<8<1。 对 于 5=1/2 的 特殊 情况 , Td) =Vr 
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4) FO BW y(n, RAH, Mak ORRERA P(a=0)=0 概率 分 布 的 任 一 M x1 
随机 列 向 量 , 则 a Ro‘'a/a"@'a 是 自由 度 为 n -M+1 的 x? 分布 。 
5) WERE D A RIRA p x (M - p) TER 
®, a 
®, 了 


R, fe] 
R, Ro 
如 果 ® FEW y(n, RAE, DERW, (n, Ra) DRR 


G.4 PKR O(n eS 


复数 Wishart 分 布 的 性 质 4 1) FSR SE O(n DBC ERA ES 
RLS 算 法 的 均 方 敏 性 有 关 。 特 别 是 ,对 于 Rv 中 任 一 固定 的 非 零 向 量 ga, 由 性 质 4 可 知 ， 
aR aa O ok AEA n- M4189 x? 分布 。 令 y (n- M+ I) RRP BRAK, MA 
用 式 (G.11}) 中 所 述 结果 ,可 写 出 


1 
oT ay aye} _ pëR- 
ETasg@-(n)a] = aR oF| aC Wen! 
_ 1 Hp-! 
=; M;i" 8 aon>M©M+i1 
这 也 表明 
E(@"'(n)] = >m 二 iR' ,n>M+I (G.12) 


2 


本 语 


1. 书 中 约定 


1. BK) FARRAR. MAKE FR RAB 


. 标量 向量 ,矩阵 的 估计 值 用 项 部 带 有 “符号 来 表示 。 


3. 符号 1 表示 取 其 内 部 所 含 复 标量 的 幅 值 或 者 绝对 值 。 符 号 ang[ ] 或 者 arg[ | 表示 取 插 号 


内 标量 的 相 角 。 


4. 符号 ‖ 表示 取 其 内 部 所 售 向 量 或 者 矩阵 的 欧 氏 范 数 。 


19. 


. 符号 det() 表 示 括 号 内 方 阵 的 行列 式 。 
. 开 区 间 (c ,表示 变量 x 的 范围 为 a<x <b, Ko, b] ÆR asrab, la, b] Æ 


示 a<x<b。 


. 非 奇异 矩阵 ( 方 阵 )A 的 逆 表 示 为 A '。 
. 矩阵 A( 不 必 是 方 阵 ) 的 伪 逆 表示 为 A*'。 
. 标量 、 向 量 、 和 矩阵 的 复 共 轿 用 上 标 星 号 符号 表示 。 向 量 和 算 阵 的 转 置 用 上 标 TRR W 


量 和 矩阵 的 埃 尔 米 特 转 置 用 上 标 吾 表 示 。 向 量 中 元 素 的 后 向 重 排 序 用 上 标 B 表示 。 


. 符号 A “表示 非 奇异 抢 阵 ( 方 阵 )A 之 逆 的 埃 尔 米 特 转 置 。 

. DE A 的 平方 根 表示 为 A”。 

. 符号 diag(41 ,12，... ,Ay) 表 示 对 角 阵 ,其 主 对 角 线 上 的 元 素 等 于 A Ars... Amo 

. 线性 预测 器 的 阶 或 自 回归 模型 的 阶 由 相应 标量 或 向 量 参数 加 有 下 标的 符号 来 表示 。 

. 统计 期 望 运算 表示 为 E[:], 方 括号 内 的 量 是 随机 变量 或 者 随机 向 量 。 随 机 变量 的 方 


差 表 示 为 var[* ] ,其 中 的 量 是 随机 变量 。 


. BA H 为 真 ,随机 变量 U 的 条 件 概 率 密度 函数 表示 为 fy(wl,), 这 里 u 表示 随机 


变量 U 的 一 个 样本 值 。 


. 两 个 向 量 x 和 y 的 内 积 定义 为 x*y=y x* 。 另 一 个 定义 为 办 x =xy”。 这 两 个 内 积 彼 


HERH. HE x 和 向 量 y 的 外 积 定义 为 xy" 。 内 积 结果 是 标量 ,而 外 积 结果 是 矩阵 。 


FER 的 迹 记 为 t[R], 定 义 为 其 对 角 线 上 的 元 素 之 和 。 和 矩阵 R 之 迹 的 指数 寡 作 为 


etr[ R] o 


. 平稳 离散 时 间 随 机 过 程 x(m) 的 自 相关 函数 定义 为 


r(k) = Elu(n)u*(n 一 k)] 
两 个 同 分 布 的 平稳 随机 过 程 w(n) 和 ad(n) 的 互相 关 函 数 定义 为 
p(-k) = Elu(n — k)d*(n)] 
随机 向 量 u(n ) EMAL Ee ME 
R = Elu(n)u"(n)] 


20. 


21. 


22. 


23. 


25. 


本 语 
书 中 避免 使 用 带 有 下 标的 R 来 表示 相关 矩阵 ,只 有 第 14 章 是 个 例外 ,该 处 有 
R, = E[u(n)u"(n)] 
和 
R, = Elo(n)o"(n)] 
随机 向 量 u(n) 和 随机 变量 d(n) 的 集 平均 互相 关 疝 量 表示 为 
p = Elu(n)d*(n)] 
在 观测 区 间 1<i<n 上 ,向 量 u 芭 的 时 间 平均 (样本 ) 相 关 矩 阵 定义 为 
(n) = Sulu") 


i= 


其 指数 加 权 形 式 为 


®(n) = > A" (iu (i) 


HA 是 指数 加 权 因 子 , 取 值 范围 是 0< 4<1。 
在 观测 区 间 1< i<n 上 ,向 量 u(i) 与 标量 4(i) 的 时 间 平 均 互相 关 和 矩阵 定义 为 
z(n) = > u(i)a*(i) 


其 指数 加 权 型 为 
z(n) = Sa) dar) 


时 间 函 数 x(=) 的 离散 时 间 傅 里 叶 变换 表示 为 FEu(n)], 频 率 函 数 U(w) 的 离散 时 间 


傅 里 叶 反 变换 表示 为 FT U(w) 0 


. Laguerre 序列 的 z 变换 表示 为 


Liz a) _ A a ee (z — a)’ 


(1 az ty" 
= Lo(z, a)L'(z, a) i=0,1,2,... 


这 里 L0(z,a) 是 低 通 滤波 器 ,而 L( 2,0) PER, A AHR 
在 构建 包含 矩阵 量 的 框图 (信和 号 流 图 ) 中 ,使 用 了 下 列 符号 


a C 


b 


该 符号 描绘 了 加 法 器 c = a + 好 类 似 地 , 符号 


+ 
a c 
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描绘 了 减法 器 c = a - bo AS 


(ney 
表示 y = ju 做 运算 的 乘法 器 。 该 乘法 也 可 以 表示 为 


x Y 


单位 取样 (延迟 ) 操 作 符 表示 为 


u(n) z7! u(n— 1) 


26. 在 构建 包含 矩阵 量 的 框图 (信号 流 图 ) 中 ,使 用 下 列 符号 





AGC Automatic gain control 自动 增益 控制 
AIC An information-theoretic criterion 信息 理论 准则 
ALE Adaptive line enhancer 自 适 应 谱 线 增强 带 


AP Affine projection 仿 射 投影 


本 Ë 


Autoregressive 

Autoregressive moving average 
Almost surely 

Block exact fast affine projection 
Bounded input, bounded output 

Bit per second 

Backward linear prediction 

Best linear unbiased estimate 

Back propagation . 

Binary phase-shift keying 

Constant modulus algorithm 
Discrete cosine transform 

Discrete Fourier transform 
Differential pulse-code modulation 
Double-talk detector 

Data terminal equipment 

Echo canceller 

Extended Kalman filter 

Extended recursive least squares-version 1 
Extended recursive least squeres-version 2 
Fast affine projection 
Forward-backward linear prediction 
Frequency-domain adaptive filter 
Fast Fourier transform 
Finite-duration impulse response 
Forward linear prediction 
Fractionally spaced equalizer 

Fast transversal filters (algorithm) 
Gradient-adaptive lattice 
Gradient-adaptive Laguerre lattice 
Generalized sidelobe canceller 
High frequency 

High-order statistics 

Hertz 

Intermediate frequency 

Inverse fast Fourier transform 
Independent and identically distributed 
Infinite-duration impulse response 


Interference-to-noise ratio 


自 回归 

自 回归 滑动 平均 

几乎 确定 

块 精确 快速 仿 射 投影 
有 界 输入 ,有 界 输出 
位 / 秘 

后 向 线性 预测 

最 佳 线性 无 偏 估 计 
反 向 传播 

二 进 制 相 移 键 控 
常数 模 ( 恒 模 ) 算 法 
离散 余弦 变换 
离散 傅 里 叶 变 换 
差分 脉 码 调制 

双方 通话 检测 器 

数据 终端 设备 

回 波 消除 器 

广义 卡尔 曼 滤 波 器 

广义 递归 最 小 二 乘 -1 型 
广义 递归 最 小 二 乘 -2 型 
快速 仿 射 投影 

前 向 -后 向 线性 预测 
频 域 自 适应 滤波 器 
快速 傅 里 叶 变 换 

有 限 脉 冲 响应 

前 向 线性 预测 

分 数 间隔 均衡 器 
快速 横向 滤波 器 (算法 ) 
梯度 自 适 应 格 型 

梯度 自 适应 Laguerre 格 型 
广义 旁 瓣 消除 器 

高 频 

高 阶 统计 量 

赫兹 

中 频 
快速 健 里 叶 反 变换 
独立 同 分 布 

无 限 脉 冲 响应 

干扰 噪声 比 
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ISI Intersymbol interference 符号 间 ( 码 间 ) 干 扰 

kb/s Kilobits per second 千 位 / 秒 

kHz Kilohertz THR 

KLT Karhunen-Loève transform 卡 享 南 - 洛 厄 维 变换 

LCMV Linearly constrained minimum variance 线性 约束 最 小 方差 

LEM Loudspeaker-enclosure-microphone 扬声器 -机 过 -麦克 风 

LMS Least-mean-square 最 小 均 方 

LSB Least significant bit 最 低 有 效 比 特 (位 ) 

LSL Least-squares lattice 最 小 二 乘 格 型 

LPC Linear prediction coding 线性 预测 编码 

MA Moving average 滑动 平均 

MDL Minimum descriptive length (criterion) 最 小 描述 长 度 ( 准 则 ) 

MEM Maximum entropy method RATE 

MIMO Multiple-input , multiple-output 多 输入 多 输出 

MN Minimum nom 最 小 范 数 

MLM Maximum-likelihood method 最 大 似 然 方法 

MLP Multilayer perceptron 多 层 感 知 器 

MSD Mean-square deviation 均 方 偏差 

MSE Mean-square error 均 方 误差 

MVDR Minimum-variance distortionless response 最 小 方差 无 失真 响应 

MVUE Minimum-variance unbiased estimate 最 小 方差 无 偏 估计 

NPR Nogarrd, Paulsen, and Ravn (Kalman filter) NPR (卡尔 曼 滤波 器 ) 

PAM Pulse amplitude modulation 脉冲 幅度 调制 ( 脉 幅 调制 ) 

PARCOR Partial correlation 偏 相关 

PCM Pulse-code modulation 脉冲 编码 调制 ( 脉 码 调制 ) 

pdf Probability density function 概率 密度 函数 

PEF Prediction error filter 预测 误差 滤波 器 

PN Pseudonoise 伪 噪 声 

PNLMS Proportionate normalized 适当 归 一 化 最 小 均 方 (算法 ) 
least-mean-squares( algorithm) 

PRNN Pipelined recurrent neural network 流水 线 递 归 神 经 网 络 

QAM Quadrature amplitude modulation 正 交 幅度 调制 

QPSK Quadrature phase-shift keying 正 交 相 移 键 控 

QR-RLS QR-decomposition-based 基于 QR 分 解 的 递归 最 小 二 乘 
recursive least squares 

QRD-LSL QR-decomposition-based least-squares lattice 基于 QR 分 解 的 最 小 二 乘 格 型 

RLS Recursive least squares 递归 最 小 二 乘 

RMLP Recurrent multilayer perceptron 递归 多 层 感 知 器 

rms Root mean square 均 方 根 


基本 符号 


ay,,(n) 


ay(n) 
A 

A(n) 
b, (nm) 


b,(n) 
b(n) 


Buln) 
c 


cun) 


Cy (n) 


c(n) 


CC Tis Tzs.. 


Ci Cwis ws... 


g 
Cu 
€(n) 
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Real-time recurrent learning, 
Second 
Single input multiple output 


Signal-to-noise ratio 


Self-orthogonalizing block adaptive filter 


Second-order statistics 
Square-root filtering 
Singular-value decomposition 
Time-delay neural network 
Time-lagged feedforward network 
Unscented Kalman filter 
Unscented transform 

Very large-scale integrationation 
With probability one 
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实时 递归 学 习 

Eb 

单 输入 多 输出 
SRE 

自 正 交 块 自 适 应 滤波 器 
二 阶 统计 量 
平方 根 滤波 
奇异 值 分 解 

时 延 神经 网 络 

时 延 前 馈 网 络 
TPAR RIRA 
无 轨迹 变换 

超大 规模 集成 

以 概率 1 


M 阶 (a 次 达 代 时 ) 前 向 预测 误差 滤波 器 第 & 个 抽 头 权 值 ,k=0,1， 
.. ,及 ;注意 ,对 于 所 有 的 n, anoln)=1 
M 阶 (n 次 迭代 时 ) 前 向 预测 误差 滤波 器 的 抽 头 权 向 量 


协 方差 算法 中 的 数据 矩阵 


前 加 徐 法 中 的 数据 矩阵 ,表示 为 数据 长 度 的 区 数 
n UGE ART FH om (m =0,1,...) 阶 预测 误差 滤波 器 产生 的 后 向 (后 验 ) 


预测 误差 


Laguerre 格 型 滤波 器 中 m 级 滤波 后 向 预测 
后 向 (后 验 ) 预 测 误差 向 量 ,表示 由 (0,1,..., 用) 阶 后 向 预测 误差 滤波 


器 产生 的 误差 序列 


由 M 阶 后 向 预测 误差 滤波 器 产生 的 后 向 预测 误差 的 加 权 平 方 和 


Givens 旋转 中 的 余弦 参数 


n 次 迭代 中 必 阶 后 向 预测 误差 滤波 器 的 第 (k=0,1,... ,及 ) 个 抽 头 
权 值 。 注意 ,对 于 所 有 的 n, Cy u(n) =] 
n 次 迭代 中 好 阶 后 向 预测 误差 滤波 器 的 抽 头 权 向 量 


最 速 下 降 算 法 中 的 加 权 误 差 向 量 


m) Bk RRS 

0, ) B k ABB 
复 变 函数 理论 中 的 围 线 
M 维 复 向 量 空间 
收敛 比 
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det() 
diag() 
d(n) 
d 
d(n) 
D 
D,.1(n) 
D 
dec() 
e(n) 
en(n) 
etr( ) 
exp 

E 

E 
€(w,n) 
8(w) 
E min 
e(n) 
faln) 
f(n) 


fou) 
fu(u) 

Fu (2) 
F(n+1,n) 
Fu(n) 
F[] 

FCC] 
gC) 
G(n) 

h, 
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括号 内 和 矩阵 的 行列 式 

对 角 阵 

期 望 响应 

协 方差 法 中 的 期 望 响应 向 量 

前 加 窗 法 中 的 期 望 响应 向 量 

单位 延迟 运算 

后 向 预测 误差 的 相关 和 矩阵 

均 方 偏差 

描述 门限 装置 执行 判决 的 函数 

后 验 估计 误差 或 者 误差 信号 

使 用 递归 LSL 算法 或 QRD-LSL 算法 时 ,第 m 级 输出 的 后 验 估计 误差 
自然 对 数 的 底 

括号 内 和 矩阵 之 迹 的 指数 宪 运 算 

指数 

期 望 运算 

扰动 矩阵 

代价 函数 定义 为 加 权 误 差 平方 和 , 选 代 次 数 n 和 加 权 向 量 w 的 函数 
代价 函数 定义 为 误差 平方 和 ,表示 为 抽 头 权 向 量 w 的 函数 

%(w) 的 最 小 值 

代价 函数 定义 为 加 权 误 差 平 方 和 ,表示 为 迭代 次 数 n 的 函数 

n KIRE M 阶 前 向 预测 误差 滤波 器 产生 的 前 向 (后 验 ) 预 测 误差 
前 向 (后 验 ) 预 测 误差 向 量 ,表示 由 (0,1,...,M) 阶 前 向 预测 误差 滤波 
器 产生 的 误差 序列 

样本 值 为 uw 时 ,随机 变量 U 的 概率 密度 函数 

样本 值 为 u 时 ,随机 向 量 U 的 联合 概率 密度 函数 

M 阶 前 向 预测 误差 滤波 器 产生 的 前 向 预测 误差 序列 的 z 变换 
转移 矩阵 

由 M 阶 前 向 预测 误差 滤波 器 产生 的 前 向 预测 误差 的 加 权 平 方 和 
傅 里 叶 变换 算 子 

傅 里 叶 反 变换 算 子 

用 于 言 均衡 的 非 线性 函数 

卡尔 曼 增 益 

基于 格 型 预测 器 的 联合 过 程 估计 的 第 个 回归 系数 

第 i 个 假设 

离散 时 间 线 性 滤波 器 的 转移 函数 

表示 复 基 带 信号 同 相 ( 实 部 ) 分 量 的 下 标 

单位 矩阵 

Fisher 信息 矩阵 J EE 
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-1 的 平方 根 

用 于 表示 维 纳 滤波 问题 的 代价 函数 ,表示 为 抽 头 权 向 量 w 的 函数 
Fisher 信息 和 矩阵 

RIS 算法 中 的 增益 向 量 

滑动 平均 模型 的 最 终 阶 数 

加 权 误 差 向 量 s(n) 的 相关 矩阵 

自然 对 数 

参数 向 量 6 的 对 数 似 然 函数 

a 参数 化 的 第 i 个 Laguerre 序列 的 > 变换 

下 三 角 和 矩阵 形式 中 的 变换 矩阵 

线性 时 不 变 系统 

线性 范 数 ( 欧 氏 ) 空 间 

线性 预测 器 或 自 回 归 模 型 的 可 变 阶 数 

线性 预测 器 或 自 回归 模型 的 最 终 阶 数 

自 回归 滑动 平均 模型 的 最 终 阶 数 

失调 

离散 时 间或 者 用 于 递归 算法 的 迭代 次 数 

数据 长 度 

表示 高 斯 ( 正 态 ) 分 布 的 符号 

噪声 子 空间 

M* 的 阶 数 

延 时 后 的 互相 关 向 量 p 中 的 元 素 

抽 头 输入 向 量 n(n) 与 期 望 响应 d(n) 之 间 的 互相 关 向 量 
平稳 输入 情况 下 预测 阶 数 为 M 的 (前 向 或 者 后 向 ) 平 均 预测 误差 功率 
RIS 算 法 公式 中 与 时 间 平 均 相 关 和 矩阵 ®@(n) 之 逆 相 等 的 矩阵 
第 个 特征 向 量 的 第 i 个 元 素 

第 个 特征 向 量 

表示 复 基 带 信号 正 交 ( 虚 部 ) 分 量 的 下 标 

由 集合 {q} 中 归 一 化 特征 向 量 作为 列 组 成 的 西 和 矩阵 
标准 高 斯 随机 变量 的 概率 分 布 函 数 

延 时 后 ( 集 平均 ) 相 关 和 矩阵 R 的 元 素 

变换 因子 

固定 离散 时 间 过 程 x(m) 的 集 平 均 相 关 和 矩阵 

M 维 实 向 量 空间 

信号 向 量 ;导向 向 量 

符号 函数 

功率 谱 密度 

自 回归 (功率 ) 谱 
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Svem( w) MEM( 最 大 炉 算 法 ) 谱 
Sa(ow) 最 小 方差 无 失真 响应 (MVDR) 谱 
F 系统 
Sa 渐 减 激励 子 空间 
F, 其 他 激励 子 空间 
F, 持续 激励 子 空间 
FP, 无 激励 子 空 间 
t 时 间 
t 非 平稳 输入 时 联合 过 程 估 计 中 产生 的 向 量 
3 育 反 卷 积 子 空间 分 解 过 程 中 的 距离 度量 
u(n) 在 时 刻 ”横向 滤波 器 中 的 抽 头 输入 样本 值 
u(n) 由 u(n),u(n—-1),... 作为 元 素 组 成 的 抽 头 输入 向 量 
u(n) u(n) 的 同 相 分 量 
uo(n) u(n) 的 正 交 分 量 
u 数据 矩阵 A 中 第 个 左 奇 异 向 量 
U 数据 矩阵 A 中 左 奇异 向 量 构成 的 矩阵 
Un MAAMA uln), uln-1),... 张 成 的 空间 
Un) 抽 头 输入 uli) =1,2,...,n) 的 加 权 平 方 和 
v(n) 在 最 速 下 降 算 法 和 LMS 算法 中 的 变换 加 权 误 差 向 量 
v, (7) 数据 矩阵 A 中 第 个 右 奇异 向 量 
V BEERE A 的 右 奇异 向 量 和 矩阵 
w,(n) n 时 刻 横 向 滤波 器 的 第 上 个 抽 头 权 值 
Wp, mk (7) n 次 迭代 时 m 阶 后 向 预测 器 的 第 个 抽 头 加 权 
Wy, mk (7) n WIR m BPA SE SS k A TAR 
w(n) n 时 刻 横向 滤波 器 的 抽 头 权 向 量 
Wam (n) n BFA) m 阶 后 向 滤波 器 的 抽 头 权 向 量 
Wn(n) n 时 刻 m 阶 前 向 滤波 器 的 抽 头 权 向 量 
W 表示 Wishart 分 布 的 符号 
x(n) “ER BEE EEG FARA 
y(n) 用 来 表示 卡尔 曼 滤 波 器 理论 的 观测 值 
Y, 由 观测 值 y(n),y(n - 1),..… 张 成 的 向 量 空 间 
y(n) 设计 IR 自 适应 滤波 器 的 方程 误差 法 中 修正 的 输出 信和 号 
z` 序列 z 变换 中 定义 的 单位 延迟 算 子 (单位 延迟 器 ) 
z 抽 头 输入 向 量 u(i) 与 期 望 响 应 d( 让 之 间 的 时 间 平 均 互 相关 向 量 
Z(y) 标准 高 斯 概率 密度 函数 


Laguerre 序列 定义 中 使 用 的 参数 
n 时 刻 的 新 息 向 量 
IR 自 适 应 滤波 器 中 的 滤波 回归 向 量 yn) 


ô, 

A, (n) 
€,(n) 
Ebm (n) 
Efm (n) 
eln) 
n(n) 
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DCT-LMS 算法 中 使 用 的 常数 

GAL 算 法 中 使 用 的 常数 

n 时 刻 m 阶 的 后 向 预测 误差 

在 FTF 算法、 递归 LSL 算法 和 递归 QRD-LSL 算 法 中 的 变换 因子 
g 的 伽 马 函数 

随机 变量 的 斜 度 

随机 变量 的 峰 度 

设计 OR 自 适应 滤波 器 的 输出 误差 法 中 的 滤波 回归 器 向 量 
正则 化 参数 ,调整 参数 

第 一 象限 向 量 ( 也 用 1 表示 ) 

Kronecker 6 序列 , 当 1 = 0 时 等 于 1,140 时 等 于 0 

前 向 预测 误差 fa (n) 与 延 述 的 后 向 预测 误差 b(n - 1) 之 间 的 互相 关 
预测 阶 数 为 m 的 角 归 一 化 联合 过 程 估计 误差 

预测 阶 数 为 m 的 角 归 一 化 后 向 预测 误差 

预测 阶 数 为 m 的 角 归 一 化 前 向 预测 误差 

加 权 误 差 向 量 

前 向 ( 先 验 ) 预 测 误差 

参数 向 量 

酉 旋转 

平稳 环境 下 格 型 预测 器 的 第 m 个 反射 系数 

非 平稳 环境 下 最 小 二 乘 格 型 预测 器 的 第 m 个 后 向 反射 系数 
非 平 稳 环 境 下 最 小 二 乘 格 型 预测 器 的 第 m 个 前 向 反射 系数 
三 谱 
RLS、FTF、LSL、QR-RLS 和 QRD-LSL 算法 中 的 指数 加 权 向 量 
相关 算 阵 R 的 第 个 特征 值 

相关 矩阵 及 的 最 大 特征 值 

相关 矩阵 R 的 最 小 特征 值 

指数 加 权 因 子 对 角 阵 

均值 

最 速 下 降 算法 和 LMS 算法 中 的 步 长 参数 

软 约 束 FTF 算法 中 的 常数 

零 均 值 白 噪声 过 程 的 样本 值 

Bussgang 算法 中 的 卷 积 噪声 

过 程 噪声 向 量 

测量 噪声 向 量 

随机 游 动 状态 模型 中 的 过 程 噪声 向 量 

RLS 算法 中 的 向 量 

QRD-LSL 算法 中 的 第 m 个 参数 
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先 验 估计 误差 

无 干扰 估计 误差 

时 间 平 均 相 关 和 矩阵 © A tk 个 元 素 

RIS 算 法 有 限 精 度 分 析 中 的 转移 矩阵 

神经 元 激活 函数 ,是 输入 v 的 函数 

时 间 平 均 相 关 和 矩阵 

时 间 平 均 相关 矩阵 ,表示 为 观测 间隔 n 的 函数 
RA n 个 自由 度 的 x? 分 布 随机 变量 

相关 矩阵 R 的 特征 值 扩 散 度 或 条 件数 (最 大 特征 值 与 最 小 特征 值 之 比 ) 
归 一 化 角 频 率 ;0 < wsm RA -n< wen 

马尔 可 去 模型 中 的 过 程 噪声 向 量 

延迟 m 后 自 相关 函数 的 相关 系数 或 者 归 一 化 值 
方差 . 

最 速 下 降 算法 中 的 第 个 自然 模式 的 时 间 常 数 
近似 LMS 算法 学 习 曲 线 的 单 衰 变 指数 的 时 间 常 数 
言 均衡 中 信道 的 残余 脉冲 响应 

梯度 向 量 
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